大数据开发工程师学习路线不完全指北
上一篇 / 下一篇 2018-06-04 14:51:23 / 个人分类：软件测试
大数据是对海量数据存储、计算、统计、分析等一系列处理手段，处理的数据量是TB级，甚至是PB或EB级的数据，是传统数据处理手段无法完成的，大数据涉及分布式计算、高并发处理、高可用处理、集群、实时性计算等等，汇集的是IT最热门、最流行的IT技术，大数据是机器学习、深度学习、AI等尖端可以领域的基础架构。
大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企业管理中起到了不容忽视的作用，例如我国、美国以及欧盟等国家都已将大数据列入国家发展战略，微软、谷歌、百度以及亚马逊等大型企业也基础阶段：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis。hadoopmapreducehdfsyarn：hadoop：Hadoop概念、版本、历史，HDFS工作原理，YARN介绍及组件介绍。
大数据基本分为5个阶段，分别是：
大数据存储阶段：hbase、hive、sqoop
大数据架构设计阶段：Flume分布式、Zookeeper、Kafka
大数据实时计算阶段：Mahout、Spark、storm
大数据数据采集阶段：Python、Scala
大数据商业实战阶段：实操企业大数据处理业务场景，分析需求、解决方案实施，综合技术实战应用。
除此之外，常用的大数据技术有哪些呢?
第一阶段 JavaSE+MySql+Linux
Java基础→OOP编程→Java集合→IO/NIO→Eclipse→IntellijIDEA→Socket网络技术→Mysql数据库→JDBCApi→JVM内存结构→阶段项目实战→Linux(VMware、CentOS、目录结构、Linux命令)
第二阶段 Hadoop与生态系统
Hadoop→MapReduce→Hive→Avro与Protobuf→Zookeeper→HBase→phoenix→Redis→Flume分布式→SSM(Spring、SpringMVC、Mybatis)→Kafka架构
第三阶段 Storm与Spark及其生态圈
Scala→SparkJob→SparkRDD→sparkjob部署与资源分配→Sparkshuffle→SparkSQL→SparkStreaming→SparkML→azkaban
第四阶段 其他
Python与数据分析
第五阶段 项目实战、技术综合运用
大数据商业实战阶段需掌握的技术有：实操企业大数据处理业务场景，分析需求、解决方案实施，综合技术实战应用。
在拥有Java编程语言基础的前提下，可以学习以上大数据技术，大数据是未来的发展方向，正在挑战我们的分析能力及对世界的认知方式，因此，我们与时俱进，迎接变化，并不断的成长，掌握大数据核心技术，才是掌握真正的价值所在。
TAG: