“大数据”是近两年来各界最热议的话题之一。那么大数据究竟是什么? 据我个人理解，大数据包括结构化数据(Structured Data)和非结构化数据(Unstructured Data)。数据来源包括传统交易如企业ERP、财务、CRM系统和潜在海量的数字来源如网页、...
1、云计算与大数据是什么关系? 大数据云计算的关键词在于“整合”，无论你是通过现在已经很成熟的传统的虚拟机切分型技术，还是通过google后来所使用的海量节点聚合型技术，他都是通过将海量的服务器资源通过网络进行整合，调度分配给用户，从而...
大数据是我们这个时代最伟大的经济机遇之一。 但它的概念非常模糊。在一些谈话中，不同的参与者用“大数据”所表示的意思可能有以下三种：1.大量的数据；2.超出传统数据库功能的数据集；3.使用软件工具来分析前两个意义的数据集。 ...
数据分析能力对于一名产品经理来说是最基本的能力。 在面试的过程中，社招会有面试官会问你以往你负责的产品的相关数据，如何看待这些数据，如何通过这些数据来做接下来的产品优化;校招的面试官可能会问小伙伴们关于分析数据的思维;在产品经理的日常...
1.大数据仅仅是整体ROI的一小部分 2.揭示隐藏的规律、未知的联系、市场趋势、顾客偏好等等有用的商业信息 3.我们不断加入新的数据可视图与解释，树立基准，并在数据表现出不足时意识到问题。 4.让数据证明或证伪你的直觉 5.重点之一是收购...
导读：本文将大数据的工作角色分为三种类型，包括业务相关、数据科学相关和数据工程。大数据平台偏向于工程方面，大数据平台一般包括数据源、数据采集、数据存储、数据分析等方面。 讲师从数据来源、数据源结构、数据变化程度和数据规模等4个维度对...
将数据转化成可视化图表/形，其实一个工具就能完成，碍于工具太多，按照使用场景，暂且将已成熟应用的分为三个层次： 第一层：数据报告、信息图 这里统称信息图。信息图是把数据、信息或知识可视化，必须要有一个清楚准确的解释或表...
大数据无处不在。在时下这个年代，不管你喜欢与否，在运营一个成功的商业的过程中都有可能会遇到它。 本教程将会简要介绍何谓大数据，无论你是尝试抓住时机的商人，抑或是寻找下一个项目的编程高手，你都可以学到它是如何为你所用，以及如...
今天，大数据已无所不在，并且正被越来越广泛的被应用到历史、政治、科学、经济、商业甚至渗透到我们生活的方方面面中，获取的渠道也越来越便利。通过 本系列的前面几篇文章 ，我们已经了解了数据可视化的必要性，而目前市面上也已经具备了非常多成熟的...
安装JDK 安装JDK，安装成功后在终端中输入 java -version ，显示如下 java version "1.7.0_51" Java(TM) SE Runtime Environment (build 1.7.0_51-b13) Java HotSpot(TM) 64-Bit Server VM (build 24.51-b03, mixed mode) 安装Hadoop ...
实验目的 1、理解Hive在Hadoop体系结构中的角色。 2、熟悉Hive的DDL命令与DML操作。 3、区分数据仓库和数据库的概念。 实验平台 · 操作系统:Ubuntu-16.04 · Hadoop版本:2.6.0 · JDK版本:1.8 · IDE:Eclipse...
MapReduce的流程分为11个步骤，4个实体 1、客户端：编写MapReduce的代码，配置作业，提交作业 2、JobTracker：初始化作业，分配作业，与TaskTracker通信，协调整个作业的执行 3、TaskTracker：保持JobTracker的通信，在分配的数据段上执行Map...
HRegion 当一张表中的数据特别多的时候，HBase把表拆成多个块，每个块就是一个HRegion，每个region中包含这个表里的所有行 HRegionServer 数据库的数据存在HDFS文件系统中，用户通过HRegionServer来获取数据，一台机器上一般只能运行一个HReg...
环境 一台ubuntu 14.04虚拟机。 Hadoop版本：2.6.0。 增加用户 为了隔离Hadoop和其它软件，可以新建一个用户hduser和用户组hadoop来专门运行Hadoop： sudo addgroup hadoop sudo adduser --ingroup hadoop hduser 配置SSH免秘钥登...
一、回收站简介： 在HDFS里，删除文件时，不会真正的删除，其实是放入回收站/trash，回收站里的文件可以快速恢复。 可以设置一个时间阀值，当回收站里文件的存放时间超过这个阀值或是回收站被清空时，文件才会被彻底删除，并且释放占用的数据块。...
简介与环境准备 hadoop的核心是分布式文件系统HDFS以及批处理计算MapReduce。近年，随着大数据、云计算、物联网的兴起，也极大的吸引了我的兴趣，看了网上很多文章，感觉还是云里雾里，很多不必要的配置都在入门教程出现。通过思考总结与相关教程，...
大数据的定义 大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据是一个笼统的概念暂未发现和...
由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMware Workstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。 VMware的安装，装好一个虚拟机后利用复制虚拟机的方式创建后面...
Log是关系数据库对计算机行业的伟大贡献。在大数据时代，Log更是基础技术之一。然而在大家热烈讨论GFS, NoSQL，乃至Paxos， LSM tree等词语的时候，Log这个基础技术以及它对大数据行业的巨大贡献却一直以来都被业界所忽略。除了Kafka作者之一Jay Kreps...
在开始之前我们应该先准备数据方便演示，这里我插入的了几条数据，数据如下：db.user.insertMany([{name:'jack',age:22,sex:'Man',tags:['python','c++','c'],grades:[22,33,44,55],school:{name:'shida',city:'xuzhou'}},{name:'jhon',age:33,sex:nul...
