大数据是什么？ 大数据（Big Data）概念是1998年由SGI首席科学家John Masey在USENIX大会上提出的。他当时发表了一篇名为Big Data and the Next Wave of Infrastress的论文，使用了大数据来描述数据爆炸的现象。但大数据真正得到业界关注，则是其后多...
可以执行所有常用的Linux文件操作命令（读取文件，新建文件，移动文件，删除文件，列表文件等） 1.help命令获取没个命令的帮助 [cloudera@quickstart ~]$ hadoop fs -help Usage: hadoop fs [generic options] &nbs...
大数据的热度在持续的升温，继云计算之后大数据成为又一大众所追捧的新星。我们暂不去讨论大数据到底是否适用于您的公司或组织，至少在互联网上已经被吹嘘成无所不能的超级战舰。好像一夜之间我们就从互联网时代跳跃进了大数据时代!关于到底什么是大数...
一、前言 Spark作为大数据计算引擎，凭借其快速、稳定、简易等特点，快速的占领了大数据计算的领域。本文主要为作者在搭建使用计算平台的过程中，对于Spark的理解，希望能给读者一些学习的思路。文章内容为介绍Spark在DataMagic平台扮演的角色、如何...
文章正文 RDD全称叫做弹性分布式数据集(Resilient Distributed Datasets)，它是一种分布式的内存抽象，表示一个只读的记录分区的集合，它只能通过其他RDD转换而创建，为此，RDD支持丰富的转换操作(如map, join, filter, groupBy等)，通过这种转换操...
1. 概述 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上； 1.1 Ma...
在银行欺诈检测，市场实时竞价或网络入侵检测等领域通常是什么样的数据集呢? 在这些领域使用的数据通常有不到1%少量但“有趣的”事件，例如欺诈者利用信用卡，用户点击广告或者损坏的服务器扫描网络。 然而，大多数机器学习算法对于不平衡数据集...
RDD特征概要总结： a、RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集。 b、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的...
前言 Vertx Vertx是一个高效的异步框架，支持Java、Scala、JavaScript、Kotlin等多种语言。在非性能调优的场景下，TPS可以高达2-3万，同时，支持多种数据源也提供了异步支持。 Phoenix 大数据的同学肯定对其很了解，是Apache基金会下的顶级...
示例数据 给出一份我们日常都可以接触到的数据样例，先简单给出示例数据的字段定义： 示例数据字段定义 本文力求简洁，仅给出了最简单的几个字段定义。如下是”虚构”的样例数据： 示例数据 在本文大部分内容中所涉及的一条数据，是上面...
1、前言 本文深入研究 HDFS 磁盘平衡的新特性，这是 Hadoop3 中加入的一个特性。 HDFS 现在包括（在 CDH 5. 8. 2 和更高版本中发布）用于跨节点移动数据的全面的存储容量管理方法。 在 HDFS 中，DataNode 将数据块分散到本地文件系统目录中，...
Spark在Map阶段调度运行的ShuffleMapTask，最后会生成.data和.index文件，可以通过我的这篇文章 Spark Shuffle过程分析：Map阶段处理流程 了解具体流程和详情。同时，在Executor上运行一个ShuffleMapTask，返回了一个MapStatus对象，下面是ShuffleMapT...
导语：Spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及spark streaming之后，对spark技术的使用有一些自己的经验积累以及心得体会，在此分享给大家。...
HBase架构组件 从物理结构上讲，HBase由三种类型的服务器构成主从式架构。Region Servers为数据的读取和写入提供服务。当访问数据时，客户端直接和Region Servers通信。Region的分配，DDL (create, delete tables)操作有HBase Master进程处理。Zook...
一般来说，只有16G的内存的“小”电脑都无法直接处理这种数据集了，本文收集了一些关于处理这种数据的建议，供大家参考。 1.及时删除无用变量并垃圾回收 通常我们在特征工程中会涉及大量的转换操作，产生很多的中间变量等，除了使用del以外，使用...
大数据背景 大数据特征：海量数据规模、多样数据类型、快速数据流转（实时性）-> 数据价值 大数据流程：数据采集->数据存储->数据处理／分析／挖掘->可视化 大数据的技术架构挑战 对现有的数据库管理技术的挑战 经典数据库...
1.介绍 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ 数据量大不是问题，数据倾斜是个问题。 jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是m...
如今，大数据技术对企业来说不再是一种尝试和体验，它已成为企业开展业务的一个重要组成部分。根据调研机构IDC公司的调查，2017年全球大数据和业务分析(BDA)的市场收入将达到1508亿美元，和2016年相比增长12.4%。到2020年，其收入将超过2100亿美元。 ...
编辑推荐: 本文来自于网络大数据，Hadoop大数据是怎么了呢?我们从DBMS数据库管理系统的角度，来剖析下常见产品的能力：RDBMS，MPP，Hadoop，NoSQL以及NewSQL。 这几类产品对数据处理的能力各有什么样的特点? 1. Hadoop 的神话正在破灭 IBM le...
如果企业需要采用处理其大数据的高性能计算，则在内部部署运营可能效果最佳。以下是企业需要了解的内容，其中包括高性能计算和Hadoop的不同之处。 在大数据领域，并非每家公司都需要高性能计算(HPC)，但几乎所有使用大数据的企业都采用了Hadoop式分...
