数据分析师的工作包括收集、清理、可视化信息块，并将原始数据转换或建模为营销人员、开发人员、会计师使用。数据分析师的工作流程是由组织的需求定义的，但最终的可交付成果总是相同的：结构良好且易于检索的数据。 作为一名数据分析师，需要具...
医疗数据较为复杂，以医院来说建设的业务系统接近百来个，例如HIS系统、急诊系统、护理系统、电子病历系统、检验系统、检查系统、输血系统、生殖中心系统、体检系统等，每个业务厂家不同，设计不同，尽管医院都依照不同的主题建立部分分析型数据应用，...
如今，大数据的应用对几乎任何行业的发展都会产生积极的影响，而采用这项技术，一些行业比其他行业更有可能发生重大的变化。以下是采用大数据发生重大变化的6个行业。 1.网络安全 黑客一直在不断改进攻击受害者和渗透网络的方法。而网络安全专...
摘要：本文根据某大型商业银行大数据平台建设实践，论述以Hadoop为基础通过引入前沿主流的大数据开源工具搭建商业银行大数据平台的整体架构方案，并具体讨论存储引擎、资源管理、计算引擎、分析引擎、交互前端以及数据管理、任务管理、用户管理等关键技...
展望2019年，如何开展“互联网+医疗健康”便民惠民服务，提升群众获得感，肯定是新一年医疗行业的工作重点。而要落地这一目标，既离不开信息系统的建设和改造，也离不开医疗大数据的底层支撑。那么医疗大数据在新的一年如何着力，如何发展呢?在此，谨结...
本文主要讲述数据挖掘分析领域中，最常用的四种数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。 当刚涉足数据挖掘分析领域的分析师被问及，数据挖掘分析人员最重要的能力是什么时，他们给出了五花八门的答案。 其实我想告诉他们...
前戏 在拿到一份数据准备做挖掘建模之前，首先需要进行初步的数据探索性分析(你愿意花十分钟系统了解数据分析方法吗?)，对数据探索性分析之后要先进行一系列的数据预处理步骤。因为拿到的原始数据存在不完整、不一致、有异常的数据，而这些“错误”...
数据科学与大数据技术是一门偏向应用的学科领域，因此工具就成为重要的组成部分。在工作中，数据科学家如果选择有效的工具会带来事半功倍的效果。一般来说，数据科学家应该具有操作数据库、数据处理和数据可视化等相关技能，还有很多人还认为计算机技能...
=大数据技术作为一门新兴技术，已经成为人类社会关注的热点，大数据的不断产生、流动和发展，成为具有重要价值的社会资源。大数据技术在给人们工作和生活带来巨大便利的同时，也产生了一系列伦理问题。 大数据技术的伦理问题 随着大数据技术...
很多公共云提供商在日常运营中通常不可避免地遭遇灾难性中断，而IT管理人员需要从云平台的故障和教训中学习，并将其应用到内部基础设施当中。 云平台(尤其是大型公共云平台)具有多种冗余级别，但没有一个平台能够抵御出现的意外停机。云计算平台和数...
随着共享经济的迅猛发展，“区块链+大数据”似乎已经成为一个非常明显的发展趋势。一方面，区块链可以解决大数据存在的诸多问题，从而使其为共享经济提供更加优质的服务;另一方面，为了最大限度地体现自身价值，越来越成熟的大数据迫切需要一个应用实体...
专家们预测，到2025年，数据宇宙(或称数据宇宙)的范围将达到180泽字节。这是一个真正令人难以置信的数字，突出了大数据的指数增长。《数据战略：如何从大数据，分析和物联网世界中获利》一文章的作者Bernard Marr提供了一些观点，并指出世界上90%的现有...
大数据”如今已渗透到人类生活的方方面面。随着各种数据库的大量出现，传统文史研究也发生了变化。近年来，与“e考据”和“数字人文”相关的研究日趋增多，因此，进一步探索如何更切实地将理论、方法与研究实践有机结合，就变得十分重要。 扬弃既有...
一. Hadoop Yarn 是什么 在古老的 Hadoop1.0 中，MapReduce 的 JobTracker 负责了太多的工作，包括资源调度，管理众多的 TaskTracker 等工作。这自然是不合理的，于是 Hadoop 在 1.0 到 2.0 的升级过程中，便将 JobTracker 的资源调度工作独立了出...
距《老友记(Friends)》最后一集播出至今已有13年之久，但人们对它热情几乎未减分毫。至少文摘菌每次吃饭的时候都会随机选择一集《老友记》佐饭。 来自印度的数据科学家Yashu Seth也是资深《老友记》粉丝，一次观看中，他开始思索，到底谁才是《老友...
九十年前，法国诗人保罗瓦列里写道：“未来不再像过去那样。” 从00年代中期开始的大数据趋势也可以这么说。 面对崭新的2019年，Datanami(提供研究和企业数据密集型计算的新闻和见解，涵盖大数据生态系统的新闻门户网站)从未停止脚步，他们已经从大...
结合了数据与机器学习的产品可成为解决用户需求的利器。它们能够创造一条可以帮你避免激烈竞争的“数据护城河”。 当前已经有了一些非常经典的案例，例如谷歌搜索引擎以及亚马逊产品推荐系统，两者利用数据与机器学习做出的改进都吸引了更多用户使用...
Hadoop分布式文件系统(HDFS)是一种分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异是值得我们注意的： HDFS具有高度容错能力，旨在部署在低成本硬件上。(高容错) HDFS提供对数据的高吞吐量访问，适用...
大数据分析一直是过去这十年的一个重要技术趋势，也是IT市场中最具活力和创新力的领域之一。但是如今的大数据分析市场与几年前截然不同，未来几年肯定也会有很大的变化。 2018年有很多明显的迹象表明，这十年中快速崛起的大数据市场，正在以不同...
今天将会跟大家讨论一些Redis在大数据中的使用，包括一些Redis的使用技巧和其他的一些内容。 一、Redis封装架构讲解 实际上NewLife.Redis是一个完整的Redis协议功能的实现，但是Redis的核心功能并没有在这里面，而是在NewLife.Core里面。 这里...
