大数据测试中Java和Hadoop关系

发表于:2015-12-15 10:37

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:老李(laoli0201)    来源:51Testing软件测试网采编

  Hadoop的创始人是Doug Cutting, 同时也是著名的基于Java的检索引擎库Apache Lucene的创始人。Hadoop本来是用于著名的开源搜索引擎Apache Nutch,而Nutch本身是基于Lucene的,而且也是Lucene的一个子项目。因此Hadoop基于Java就很理所当然了,所以,Hadoop是由Java编写的。
  Hadoop采用Java编写,因而Hadoop天生支持Java语言编写作业,但在实际应用中,有时候,因要用到非Java的第三方库或者其他原因,要采用C/C++或者其他语言编写MapReduce作业,这时候可能要用到Hadoop提供的一些工具。
  如果你要用C/C++编写MpaReduce作业,可使用的工具有Hadoop Streaming或者Hadoop Pipes。
  如果你要用Python编写MapReduce作业,可以使用Hadoop Streaming或者Pydoop。
  如果你要使用其他语言,如shell,php,ruby等,可使用Hadoop Streaming。
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号