在企业数据建设过程中，大数据治理受到越来越多的重视。从企业数据资产管理和提升数据质量，到自服务和智能化的数据应用，大数据治理的内容在不断发展和完善，其落地实施的过程中会遇到各种各样的难题和挑战。本篇文章通过分析大数据治理建设中的沟沟坎...
在一个学习编程的课堂上，老师让孩子们用类似“嗨，大家好，我是×××”的句式介绍自己，孩子们的介绍五花八门，李白、荆轲、秦始皇……报出名号后，孩子们一起笑起来，这是他们间的某种默契。 这些历史名人当前最流行的归属，是一款叫《王者荣耀》...
今天，我们来讲讲大数据避不开的9大应用场景。假如以下应用场景听上去那么像你所在的企业，你可要认真开始考虑大数据分析工具，这将是一项合理的投资喔！ 客户分析（Customer analytics）：这包括分析客户的信息资料、行为和特点到开发模型，对客户...
Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset...
刚刚闭幕的2017中国国际大数据产业博览会又为火热的大数据产业添了一把火，博览会签约金额达167亿余元，签约意向金额为256亿元左右。这一全球首个以大数据为主题的展会，再一次撩起了大数据的神秘面纱，展示了大数据的大能量，一个通过加工处理数据来创...
一、大数据时代还需要数据治理吗? 数据平台发展过程中随处可见的数据问题 大数据不是凭空而来，1981 年第一个数据仓库诞生，到现在已经有了近 40 年的历史，相对数据仓库来说我还是个年轻人。而国内企业数据平台的建设大概从 90 年代末...
“大数据”是近两年来各界最热议的话题之一。那么大数据究竟是什么? 据我个人理解，大数据包括结构化数据(Structured Data)和非结构化数据(Unstructured Data)。数据来源包括传统交易如企业ERP、财务、CRM系统和潜在海量的数字来源如网页、...
1、云计算与大数据是什么关系? 大数据云计算的关键词在于“整合”，无论你是通过现在已经很成熟的传统的虚拟机切分型技术，还是通过google后来所使用的海量节点聚合型技术，他都是通过将海量的服务器资源通过网络进行整合，调度分配给用户，从而...
大数据是我们这个时代最伟大的经济机遇之一。 但它的概念非常模糊。在一些谈话中，不同的参与者用“大数据”所表示的意思可能有以下三种：1.大量的数据；2.超出传统数据库功能的数据集；3.使用软件工具来分析前两个意义的数据集。 ...
数据分析能力对于一名产品经理来说是最基本的能力。 在面试的过程中，社招会有面试官会问你以往你负责的产品的相关数据，如何看待这些数据，如何通过这些数据来做接下来的产品优化;校招的面试官可能会问小伙伴们关于分析数据的思维;在产品经理的日常...
1.大数据仅仅是整体ROI的一小部分 2.揭示隐藏的规律、未知的联系、市场趋势、顾客偏好等等有用的商业信息 3.我们不断加入新的数据可视图与解释，树立基准，并在数据表现出不足时意识到问题。 4.让数据证明或证伪你的直觉 5.重点之一是收购...
导读：本文将大数据的工作角色分为三种类型，包括业务相关、数据科学相关和数据工程。大数据平台偏向于工程方面，大数据平台一般包括数据源、数据采集、数据存储、数据分析等方面。 讲师从数据来源、数据源结构、数据变化程度和数据规模等4个维度对...
将数据转化成可视化图表/形，其实一个工具就能完成，碍于工具太多，按照使用场景，暂且将已成熟应用的分为三个层次： 第一层：数据报告、信息图 这里统称信息图。信息图是把数据、信息或知识可视化，必须要有一个清楚准确的解释或表...
大数据无处不在。在时下这个年代，不管你喜欢与否，在运营一个成功的商业的过程中都有可能会遇到它。 本教程将会简要介绍何谓大数据，无论你是尝试抓住时机的商人，抑或是寻找下一个项目的编程高手，你都可以学到它是如何为你所用，以及如...
今天，大数据已无所不在，并且正被越来越广泛的被应用到历史、政治、科学、经济、商业甚至渗透到我们生活的方方面面中，获取的渠道也越来越便利。通过 本系列的前面几篇文章 ，我们已经了解了数据可视化的必要性，而目前市面上也已经具备了非常多成熟的...
安装JDK 安装JDK，安装成功后在终端中输入 java -version ，显示如下 java version "1.7.0_51" Java(TM) SE Runtime Environment (build 1.7.0_51-b13) Java HotSpot(TM) 64-Bit Server VM (build 24.51-b03, mixed mode) 安装Hadoop ...
实验目的 1、理解Hive在Hadoop体系结构中的角色。 2、熟悉Hive的DDL命令与DML操作。 3、区分数据仓库和数据库的概念。 实验平台 · 操作系统:Ubuntu-16.04 · Hadoop版本:2.6.0 · JDK版本:1.8 · IDE:Eclipse...
MapReduce的流程分为11个步骤，4个实体 1、客户端：编写MapReduce的代码，配置作业，提交作业 2、JobTracker：初始化作业，分配作业，与TaskTracker通信，协调整个作业的执行 3、TaskTracker：保持JobTracker的通信，在分配的数据段上执行Map...
HRegion 当一张表中的数据特别多的时候，HBase把表拆成多个块，每个块就是一个HRegion，每个region中包含这个表里的所有行 HRegionServer 数据库的数据存在HDFS文件系统中，用户通过HRegionServer来获取数据，一台机器上一般只能运行一个HReg...
环境 一台ubuntu 14.04虚拟机。 Hadoop版本：2.6.0。 增加用户 为了隔离Hadoop和其它软件，可以新建一个用户hduser和用户组hadoop来专门运行Hadoop： sudo addgroup hadoop sudo adduser --ingroup hadoop hduser 配置SSH免秘钥登...
