大数据到底怎么学:数据科学概论与大数据学习误区

发表于:2018-7-12 10:03

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:阿杜白话大数据    来源:简书

分享:
  “数据科学家走在通往无所不知的路上,走到尽头才发现,自己一无所知。”-Will Cukierski,Head of Competitions & Data Scientist at Kaggle
  最近不少网友向我咨询如何学习大数据技术?大数据怎么入门?怎么做大数据分析?数据科学需要学习那些技术?大数据的应用前景等等问题。由于大数据技术涉及内容太庞杂,大数据应用领域广泛,而且各领域和方向采用的关键技术差异性也会较大,难以三言两语说清楚,本文从数据科学和大数据关键技术体系角度,来说说大数据的核心技术什么,到底要怎么学习它,以及怎么避免大数据学习的误区,以供参考。
  1.大数据应用的目标是普适智能
  要学好大数据,首先要明确大数据应用的目标,我曾经讲过大数据就好比万金油,像百度几年前提的框计算,这个框什么都能往里装。为什么会这样,因为大数据这个框太大,其终极目标是利用一系列信息技术实现海量数据条件下的人类深度洞察和决策智能化,最终走向普适的人机智能融合!这不仅是传统信息化管理的扩展延伸,也是人类社会发展管理智能化的核心技术驱动力。通过大数据应用,面向过去,发现数据规律,归纳已知;面向未来,挖掘数据趋势,预测未知。从而提高人们对事物的理解和决策处置能力,最终实现社会的普适智能。不管是商业智能,机器智能,人工智能,还是智能客服,智能问答,智能推荐,智慧医疗、智慧交通等相关技术和系统,其本质都是朝着这一目标在演进。随着云计算平台和大数据技术的高速发展,获得大数据基础设施建设相关技术和支持越来越容易。同时,移动互联网和物联网技术所具备的全面数据采集能力,客观上促进了大数据的积累和爆发。总之大数据就是个大框,什么都能往里装,大数据源的采集如果用传感器的话离不开物联网、大数据源的采集用智能手机的话离不开移动互联网,大数据海量数据存储要高扩展就离不开云计算,大数据计算分析采用传统的机器学习、数据挖掘技术会比较慢,需要做并行计算和分布式计算扩展,大数据要自动特征工程离不开深度学习、大数据要互动展示离不开可视化,而面向特定领域和多模态数据的大数据分析技术更是十分广泛,金融大数据、交通大数据、医疗大数据、安全大数据、电信大数据、电商大数据、社交大数据,文本大数据、图像大数据、视频大数据…诸如此类等等范围太广,所以首先我们要搞清楚大数据应用的核心目标,这个明确之后,才利于结合不同行业特点把握住共性关键技术,从而有针对性的学习。
   
  图1 国外大数据企业关系图,传统信息技术企业也在向智能化发展,与新兴大数据企业互为竞争和支持。
  2.从大数据版图看数据科学及其关键技术体系
  明确大数据应用目标之后,我们再看看数据科学(Data Science),数据科学可以理解为一个跨多学科领域的,从数据中获取知识的科学方法,技术和系统集合,其目标是从数据中提取出有价值的信息,它结合了诸多领域中的理论和技术,包括应用数学,统计,模式识别,机器学习,人工智能,深度学习,数据可视化,数据挖掘,数据仓库,以及高性能计算等。图灵奖得主Jim Gray把数据科学喻为科学的“第四范式”(经验、理论、计算和数据驱动),并断言因为信息技术的影响和数据的泛滥增长,未来不管什么领域的科学问题都将由数据所驱动。
   
  图2 典型的数据科学过程:包括原始数据采集,数据预处理和清洗,数据探索式分析,数据计算建模,数据可视化和报表,数据产品和决策支持等。
  传统信息化技术多是在结构化和小规模数据上进行计算处理,大数据时代呢,数据变大了,数据多源异构了,需要智能预测和分析支持了,所以核心技术离不开机器学习、数据挖掘、人工智能等,另外还需考虑海量数据的分布式存储管理和机器学习算法并行处理,所以数据的大规模增长客观上促进了DT(Data Technology)技术生态的繁荣与发展,包括大数据采集、数据预处理、分布式存储、NOSQL数据库、多模式计算(批处理、在线处理、实时流处理、内存处理)、多模态计算(图像、文本、视频、音频)、数据仓库、数据挖掘、机器学习、人工智能、深度学习、并行计算、可视化等各种技术范畴和不同的层面。可见DT这种新技术泛型生态下的大数据版图十分庞杂,当然也有泡沫的成分存在,这个版图也会时刻处于变化之中,就像PC时代的应用程序,互联网上的网站,移动互联网的APP,大数据时代的技术和产品也正处于优胜劣汰的过程。下面我们来看2017版的大数据版图:
   
  图3 国外和国内中关村大数据产业版图(包括数据、技术、应用、企业等)
  上述大数据版图基本涵盖了国外大数据相关技术和产业链(国内中关村版的大数据技术和企业还是太少,多是传统信息技术企业在凑数),从大数据源,开源技术框架,大数据基础设施建设,大数据核心的计算挖掘分析,大数据行业应用等方面进行了相关技术、产品和企业的展示。大数据产业链从数据源〉开源技术〉基础设施〉分析计算〉行业应用到产品落地,每个链条环节和下辖的细分内容都涉及大量数据分析技术。不管是学习技术还是开发产品,分析和理解这个大数据产业版图都十分必要。版图细节不做赘述,我们重点从学习的角度来看DT(Data technology)技术泛型下包括那些核心技术,各技术领域之间是什么样的逻辑关系,这是学习大数据首先要搞清楚的问题:
  (1)机器学习(machine learning):首先我们说说机器学习,为什么先说它,因为机器学习是大数据处理承上启下的关键技术,机器学习往上是深度学习、人工智能,机器学习往下是数据挖掘和统计学习。机器学习属于计算机和统计学交叉学科,核心目标是通过函数映射、数据训练、最优化求解、模型评估等一系列算法实现让计算机拥有对数据进行自动分类和预测的功能,机器学习领域包括很多种类的智能处理算法,分类、聚类、回归、相关分析等每类下面都有很多算法进行支撑,如SVM,神经网络,Logistic回归,决策树、EM、HMM、贝叶斯网络、随机森林、LDA等,无论是网络排名的十大算法还是二十大算法,都只能说是冰山一角,随着深度学习核心技术的突破性发展,机器学习算法得以高速扩张;总之大数据处理要智能化,机器学习是核心的核心,深度学习、数据挖掘、商业智能、人工智能,大数据等概念的核心技术就是机器学习,机器学习用于图像处理和识别就是机器视觉,机器学习用于模拟人类语言就是自然语言处理,机器视觉和自然语言处理也是支撑人工智能的核心技术,机器学习用于通用的数据分析就是数据挖掘。深度学习(deep learning)是机器学习里面现在比较火的一个子领域,属于原来人工神经网络算法的一系列变种,由于在大数据条件下图像,语音识别等领域的学习效果显著,有望成为人工智能取得突破的关键性技术,所以各大研究机构和IT巨头们都对其投入了极大的关注。
  (2)数据挖掘(data mining),数据挖掘可以说是机器学习的一个超集,是一个较为宽泛的概念,类似于采矿,要从大量矿石里面挖出宝石,从海量数据里面挖掘有价值有规律的信息同理。数据挖掘核心技术来自于机器学习领域,如深度学习是机器学习中一类比较火的算法,当然也可以用于数据挖掘。还有传统的商业智能(BI)领域也包括数据挖掘,OLAP多维数据分析可以做挖掘分析,甚至Excel基本的统计分析也可以做挖掘。关键是你的技术能否真正挖掘出有用的信息,然后这些信息可以指导决策。数据挖掘的提法比机器学习要早,应用范围要广,数据挖掘和机器学习是大数据分析的核心技术,互为支撑,为大数据处理提供相关模型和算法,而模型和算法是大数据处理的关键,探索式交互式分析、可视化分析、数据的采集存储和管理等都较少用到学习模型。
  (3)人工智能(artifical intelligence),AI和大数据是相互促进的关系,一方面,AI基础理论技术的发展为大数据机器学习和数据挖掘提供了更丰富的模型和算法,如近几年的深度学习一系列技术(强化学习、对抗学习等)和方法;另一方面,大数据为AI的发展提供了新的动力和燃料,数据规模大了之后,传统机器学习算法面临挑战,要做并行化、要加速要改进。AI的终极目标是机器智能化拟人化,机器能完成和人一样的工作,人脑仅凭几十瓦的功率,能够处理种种复杂的问题,怎样看都是很神奇的事情。虽然机器的计算能力比人类强很多,但人类的理解能力,感性的推断,记忆和幻想,心理学等方面的功能,机器是难以比肩的,所以机器要拟人化很难单从技术角度把人工智能讲清楚。人工智能与机器学习的关系,两者的相当一部分技术、算法都是重合的,深度学习在计算机视觉和棋牌走步等领域取得了巨大的成功,比如谷歌自动识别一只猫,谷歌的AlpaGo还击败了人类顶级的专业围棋手等。但深度学习在现阶段还不能实现类脑计算,最多达到仿生层面,情感,记忆,认知,经验等人类独有能力机器在短期难以达到。
  (4)其它大数据处理基础技术,如图4,大数据基础技术包括计算机科学相关如编程、云计算、分布式计算、系统架构设计等方向,还有机器学习的理论基础包括如算法、数据结构、概率论、代数、矩阵分析、统计学习、特征工程等方面;商业分析与理解如领域知识管理、产品设计、可视化等技术;数据管理如数据采集、数据预处理、数据库、数据仓库、信息检索、多维分析、分布式存储等技术。这些理论与技术是为大数据的基础管理、机器学习和应用决策等多个方面服务的。
   
  图4 数据科学的技术维度
  上图是数据科学的5个技术维度,基本涵盖了数据科学的关键支撑技术体系,从数据管理、计算机科学基础理论技术、数据分析、商业理解决策与设计几个方面进行了数据科学相关技术的梳理,其中计算机科学基础理论方法与数据分析两个板块的学习内容是最多的,也是最重要的。现阶段的大数据产品和服务多是在数据管理版块,分析板块和业务决策板块的对接是数据科学和大数据产业后续发展的关键突破点。
  另外图中的Art&Design版块只列了交通沟通和可视化,其实还不够,这个艺术(Art)还说明了数据科学与传统信息化技术的本质不同,数据科学的核心能力是根据问题提出设想,再把设想转化为学习模型,这种能力是要讲艺术的,没有这样的设计艺术,计算机要智能化不是那么容易。为什么上升为艺术了?因为经验告诉我们,把现实问题转化为模型没有标准答案,可选的模型不只一种,技术路线多样,评价指标也有多个维度,甚至优化方法也有很多种,机器学习的本质就是在处理这门艺术,给定原始数据、限制条件和问题描述,没有标准答案,每种方案的选择就是一种设想假设,需要具备利用精确的测试和实验方法来验证和证伪这些假设的能力,从这个层面讲,未来所有科学问题以及商业、政府管理决策问题都将是数据科学问题,而机器学习是数据科学的核心。

  上文内容不用于商业目的,如涉及知识产权问题,请权利人联系博为峰小编(021-64471599-8017),我们将立即处理。
21/212>
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号