一篇文看懂Hadoop:风雨十年,未来何去何从

发表于:2016-4-18 11:24

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:InfoQ 陈飚    来源:51Testing软件测试网采编

分享:
  产业篇
  现在使用Hadoop的企业以及靠Hadoop赚钱的企业已经成千上万。几乎大的企业或多或少的已经使用或者计划尝试使用Hadoop技术。就对Hadoop定位和使用不同,可以将Hadoop业界公司划分为四类:
  第一梯队:这类公司已经将Hadoop当作大数据战略武器。
  第二梯队:这类公司将Hadoop 产品化。
  第三梯队:这类公司创造对Hadoop整体生态系统产生附加价值的产品。
  第四梯队:这类公司消费Hadoop,并给规模比第一类和第二类小的公司提供基于Hadoop的服务。
  时至今日,Hadoop虽然在技术上已经得到验证、认可甚至已经到了成熟期。其中最能代表Hadoop发展轨迹的莫过于商业公司推出的Hadoop发行版了。自从2008年Cloudera成为第一个Hadoop商业化公司,并在2009年推出第一个Hadoop发行版后,很多大公司也加入了做Hadoop产品化的行列。
  “发行版”这个词是开源文化特有的符号,看起来任何一个公司只要将开源代码打个包,再多多少少加个佐料就能有一个“发行版”,然而背后是对海量生态系统组件的价值筛选、兼容和集成保证以及支撑服务。
  2012年以前的发行版基本为对Hadoop打补丁为主,出现了好几个私有化Hadoop版本,所折射的是Hadoop产品在质量上的缺陷。同期HDFS、HBase等社区的超高活跃度印证了这个事实。
  而之后的公司更多是工具、集成、管理,所提供的不是“更好的Hadoop”而是如何更好的用好“现有”的Hadoop。
  2014年以后,随着Spark和其他OLAP产品的兴起,折射出来是Hadoop善长的离线场景等已经能够很好的解决,希望通过扩大生态来适应新的硬件和拓展新的市场。
  Cloudera提出了Hybrid Open Source的架构:核心组件名称叫CDH(Cloudera's Distribution including Apache Hadoop),开源免费并与Apache社区同步,用户无限制使用,保证Hadoop基本功能持续可用,不会被厂家绑定;数据治理和系统管理组件闭源且需要商业许可,支持客户可以更好更方便的使用Hadoop技术,如部署安全策略等。Cloudera也在商业组件部分提供在企业生产环境中运行Hadoop所必需的运维功能,而这些功能并不被开源社区所覆盖,如无宕机滚动升级、异步灾备等。
  Hortonworks采用了100%完全开源策略,产品名称为HDP(Hortonworks Data Platform)。所有软件产品开源,用户免费使用,Hortonworks提供商业的技术支持服务。与CDH相比,管理软件使用开源Ambari,数据治理使用Atlas,安全组件使用Ranger而非Sentry,SQL继续紧抱Hive大腿。
  MapR采用了传统软件厂商的模式,使用私有化的实现。用户购买软件许可后才能使用。其OLAP产品主推Drill,又不排斥Impala。
  现在主流的公有云如AWS、Azure等都已经在原有提供虚拟机的IaaS服务之外,提供基于Hadoop的PaaS云计算服务。未来这块市场的发展将超过私有Hadoop部署。
32/3<123>
重磅发布,2022软件测试行业现状调查报告~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2023
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号