大数据背景
大数据特征：海量数据规模、多样数据类型、快速数据流转（实时性）-> 数据价值
大数据流程：数据采集->数据存储->数据处理／分析／挖掘->可视化
大数据的技术架构挑战
对现有的数据库管理技术的挑战
经典数据库技术并没有考虑数据的多类别
实时性的技术挑战
网络架构与数据中心、运维的挑战
大数据系统瓶颈(谷歌对此发表论文提出解决方案)
存储容量 : GFS（谷歌文件系统）
读写速度：BigTable（在普通PC上进行处理时，普通PC机容易出故障，因此要尽量减少容错）
计算效率：MapReduce （减小生产成本、部署在普通PC机进行处理）
Hadoop是什么：分布式存储+分布式、可拓展计算平台
Hadoop能做什么：搭建大型数据仓库、PB级数据存储、处理、分析
Hadoop优势：高可靠性、低成本、搞拓展、成熟的生态圈、囊括了大数据处理的方方面面
狭义的Hadoop：是一个适合大数据分布式存储（HDFS）、分布式计算（MapReduce）和资源调度（YARN）的平台
广义的Hadoop：指的是hadoop的整个生态系统，Hadoop生态系统是一个很庞大的概念，hadoop是其中一个重要的基础部分，生态系统中的每一个子系统只解决某一个特定的问题域
Hadoop包括哪些模块
hadoop common
hadoop distributed file system（hdfs）负责数据存储
hadoop yarn 负责作业调度与集群资源管理
hadoop MapReduce 基于yarn系统之上可以并行处理大数据计算
核心组成
HDFS分布式文件系统
特点：扩展性、容错性、海量数据存储
将文件切分成指定大小的数据块以及多副本的存储在多个机器上，默认128M
数据切分、多分布、容错等操作对用户是透明的
ax8Kh.md.png
资源管理系统 Yarn
特点：扩展性、容错性、多框架资源统一调度（让多种作业可以跑在 Yarn 上、减少运维成本、由 Yarn 完成整个集群资源管理的调度）
负责整个集群资源的管理和调度（一个大作业要占用多少cpu、内存）
axiWN.md.png
MapReduce
特点：扩展性、容错性、海量数据的离线处理
axxru.md.png
Hadoop生态系统
HDFS：Hadoop 文件系统
Yarn：资源调度平台、可以让其它框架跑在 Hadoop 上
MapReduce：分布式计算
Hive：定义了一种类似于 SQL 语言，通过 Hive 的 SQL 语句借助 Hive 执行引擎可以对 HDFS 上的数据进行计算
R Conectors：做一些统计学计算
Mahout：封装了一些机器学习的库
Pig：通过编写脚本把脚本转化为 MapReduce
Oozie：工作流调度引擎，让任务A、B、C可以按顺序执行，把所有具有依赖关系的作业配置好，让其可以按顺序执行
Zookeeper：管理其它框架
Flume：日志收集框架、收集 nginx、tomcat 等这些日志文件
Sqoop：运用于关系型数据库与 Hadoop 之间的数据传输
Hbase：链式存储，针对于结构化数据的、可伸缩可拓展的数据库，大型数据库，可以达到秒级别上亿查询
axSoH.md.png
Hadoop发行版选择
Apache Hadoop（里面的框架只是解决了单个Hadoop框架的，整个集群配置比较麻烦，容易产生jar包冲突，适合学习）
CDH：Cloudera Distributed Hadoop（安装简单，升级简单，资源管理设置直接通过页面就可以完成，跟Spark合作开发较好，但非开源的）
HDP：Hortonworks Data Platform（安装和升级添加节点相对CDH比较费劲、但比原生的好）
上文内容不用于商业目的，如涉及知识产权问题，请权利人联系博为峰小编(021-64471599-8017)，我们将立即处理。
