初识Hadoop
上一篇 /
下一篇 2016-12-26 16:48:00
/ 个人分类：技术
公司要进行系统重构，其中就有Hadoop,百度了下，整理如下：
1：什么是Hadoop?
Hadoop是一个由Apache基金会所开发的分布式系统基础架构
2：优点：
Hadoop是一个能够对大量数据进行分布式处理的软件框架
2.1：高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
2.2：高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
2.3：高效性。Hadoop能够在节点之间动态地
移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
2.4：高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
2.5：低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低
3：核心架构
Hadoop 由许多元素构成。其最底部是 Hadoop Distributed File System（HDFS），它存储 Hadoop 集群中所有存储节点上的文件。HDFS（对于本文）的上一层是MapReduce引擎，该引擎由 JobTrackers 和 TaskTrackers 组成。通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心
收藏
举报
TAG:
