技术最终为业务服务，没必要一定要追求先进性，各个企业应根据自己的实际情况去选择自己的技术路径。 它不一定具有通用性，但从一定程度讲，这个架构可能比BAT的架构更适应大多数企业的情况，毕竟，大多数企业，数据没到那个份上，也不可能完全自研...
如今，区块链已证明了它的价值存在，那么它将如何帮助大数据，以及大数据如何促进区块链技术的应用和发展?让我们了解一下将这两种技术结合起来的六个大数据区块链项目。 1. Storj 区块链基本上是一个基于对等点访问事务的分布式分类账。网络中的...
在学术研究与教学中，很多算法都有一个基本假设，那就是数据分布是均匀的。当我们把这些算法直接应用于实际数据时，大多数情况下都无法取得理想的结果。因为实际数据往往分布得很不均匀，都会存在“长尾现象”，也就是数据不平衡”。 技术分享：数据...
现在数据已经成为了一些企业的“天”。近年来，近年来越来越多的公司已经意识到数据分析可以带来的价值，并且已经跳上了大数据旅行车。实际上，现在所有的一切都在被监控和测量，创造了大量的数据流，通常比公司可以处理的速度更快。问题是，根据定义，...
企业会将各种IT和业务功能外包给服务提供商，这就包括一些非常具有战略意义的功能。而数据分析也越来越多地成为技术领域更具竞争优势的领域之一。 通过数据分析外包，企业雇佣服务提供商对他们提供给外包公司的数据进行分析。有行业研究表明，市场对...
自从像AWS这样的公共云产品开辟了大数据分析功能以来，小企业通过挖掘大量的数据做到只有大企业才能做到的事情，至今大约有10年时间。这些事情其中包括网络日志、客户购买记录等，并通过按使需付费的方式提供低成本的商品集群。在这十年中，这些产品蓬...
数据交换模型 数据交换模型使得不同应用程序之间的数据交换成为可能。这里是一个最基本的动机：不同应用程序之间的组对会导致有 n*(n-1) 个数据接口。 而对作为对比，如果使用一个中间表示层，将只需要 2*n 个接口。数据交换模型，...
NoSQL的四大种类 NoSQL数据库在整个数据库领域的江湖地位已经不言而喻。在大数据时代，虽然RDBMS很优秀，但是面对快速增长的数据规模和日渐复杂的数据模型，RDBMS渐渐力不从心，无法应对很多数据库处理任务，这时NoSQL凭借易扩展、大数据量和高性能...
1.Hadoop Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。 2.Druid Druid是实时数据分析存储...
过去十数年，腾讯从一个桌面即时通讯工具进化成为一个庞大的数字帝国，是全球互联网公司失控性进化的先行者和光辉典范。 由于这样的一种发展方式并无先例，如何才能持续成功进化，腾讯管理层一直在努力地探索。 我们也一直在紧密追踪观察，到了今...
大数据将给各行各业带来巨大的价值，例如医疗保健、电商零售等行业。大数据涉及IT和营销部门：它不仅是一个技术问题。同时，大数据将可能提供真实的、可操作的决策信息。虽然目前大数据趋势正在迅猛发展，但很多人并不是完全清楚如何管理数据。尽管存在...
早在1980年，著名未来学家托夫勒在其所著的《第三次浪潮》中就将“大数据”称颂为“第三次浪潮的华彩乐章”，到了现在，大数据的热浪已经覆盖了整个时代。 大数据赋能产业发展，谋定而后动为不二法门 最近几年，资本一直追着大数据跑，大数据也一...
可能很多人理解的数据仓库就是基于多维数据模型构建，用于OLAP的数据平台，通过上一篇文章——数据仓库的基本架构，我们已经看到数据仓库的应用可能远不止这些。但不得不承认多维数据模型是数据仓库的一大特点，也是数据仓库应用和实现的一个重要的方面...
本文讨论了对时序数据使用传统交叉验证的一些缺陷。具体来说，我们解决了以下问题： 在不造成数据泄露的情况下，对时序数据进行分割; 在独立测试集上使用嵌套交叉验证得到误差的无偏估计; 对包含多个时序的数据集进行交叉验证。 ...
随着科技的不断进步与新设备的不断涌现，数据可视化领域目前正处在飞速地发展之中。 ProPublica的调查记者兼开发者Lena Groeger，以及金融时报的数据可视化记者Jane Pong在全球深度报道大会上分享了他们对当前数据可视化趋势的一些看法。 1. 玩转...
我们会发生各种极有可能出现的混淆，数据抽取之后“迷恋”于数字，脑子里没有分析的目标，自己的局限影响指标选择......当分析数据的时候我们都很容易犯错。不过，用户体验团队需要用户行为的准确画像，你就要记下分析数据（用户体验分析）时最常见的几...
技术的发展，让这个世界每天都在源源不断地产生数据，随着大数据概念被提出，这个技术逐渐发展成为一个行业，并被不断看好。那么大数据行业的未来发展如何?三个方向预测大数据技术发展未来趋势： (一)社交网络和物联网技术拓展了数据采...
1、ApacheMesos 代码托管地址：ApacheSVN Mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、MPI、Hypertable、Spark等。 Mesos是Apache孵化器中的一个开源项目，使用ZooKeeper实现容错复制，使用LinuxCon...
其实大数据并不是一种概念，而是一种方法论。简单来说，就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。再...
近年来，大数据概念越来越热门，大数据日渐应用于生活中，部分企业把大数据提升到战略层面，而关于大数据的讨论也越来越热烈。而关于大数据工作的开展是技术驱动还是业务需求驱动的争论一直都有，其实这种争论没有太大意义，让大数据发挥出应有的价值才...
