大数据 - 51Testing软件测试网

Hadoop学习（一）环境安装和集群创建

分享到：

　　虚拟机使用vmware，vmware可以直接百度下载安装秘钥也能百度到安装很简单　　CentOS 7下载：　　进入官网 https://www.centos.org/download/ 　　这里有三种第一个是标准版第二个是全部版第三个是最小版每个版本的大小都不一样，这里...

关键词：

大数据这么火，它究竟是什么？(图)

分享到：

　　大数据是什么？　　大数据（Big Data）概念是1998年由SGI首席科学家John Masey在USENIX大会上提出的。他当时发表了一篇名为Big Data and the Next Wave of Infrastress的论文，使用了大数据来描述数据爆炸的现象。但大数据真正得到业界关注，则是其后多...

关键词：

软件开发
大数据

Hadoop系列：hdfs文件系统的基本操作

分享到：

　　可以执行所有常用的Linux文件操作命令（读取文件，新建文件，移动文件，删除文件，列表文件等）　　1.help命令获取没个命令的帮助　　[cloudera@quickstart ~]$ hadoop fs -help　　Usage: hadoop fs [generic options]　　 &nbs...

关键词：

基于Hadoop的大数据平台实施——整体架构设计(图)

分享到：

　　大数据的热度在持续的升温，继云计算之后大数据成为又一大众所追捧的新星。我们暂不去讨论大数据到底是否适用于您的公司或组织，至少在互联网上已经被吹嘘成无所不能的超级战舰。好像一夜之间我们就从互联网时代跳跃进了大数据时代!关于到底什么是大数...

关键词：

如何在万亿级别规模的数据量上使用Spark(图)

分享到：

　　一、前言　　Spark作为大数据计算引擎，凭借其快速、稳定、简易等特点，快速的占领了大数据计算的领域。本文主要为作者在搭建使用计算平台的过程中，对于Spark的理解，希望能给读者一些学习的思路。文章内容为介绍Spark在DataMagic平台扮演的角色、如何...

关键词：

大数据
Spark

Spark 核心概念RDD(图)

分享到：

　　文章正文　　RDD全称叫做弹性分布式数据集(Resilient Distributed Datasets)，它是一种分布式的内存抽象，表示一个只读的记录分区的集合，它只能通过其他RDD转换而创建，为此，RDD支持丰富的转换操作(如map, join, filter, groupBy等)，通过这种转换操...

关键词：

Spark
大数据

Hadoop — MapReduce原理解析(图)

分享到：

　　1. 概述　　Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；　　Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上；　　1.1 Ma...

关键词：

软件开发
大数据

干货整理：处理不平衡数据的技巧总结(图)

分享到：

　　在银行欺诈检测，市场实时竞价或网络入侵检测等领域通常是什么样的数据集呢?　　在这些领域使用的数据通常有不到1%少量但“有趣的”事件，例如欺诈者利用信用卡，用户点击广告或者损坏的服务器扫描网络。　　然而，大多数机器学习算法对于不平衡数据集...

关键词：

软件开发
大数据

大数据之谜Spark基础篇，核心RDD特征分析讲解(图)

分享到：

　　RDD特征概要总结：　　a、RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集。　　b、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的...

关键词：

软件开发
大数据

记一次大数据爬坑

分享到：

　　前言　　Vertx　　Vertx是一个高效的异步框架，支持Java、Scala、JavaScript、Kotlin等多种语言。在非性能调优的场景下，TPS可以高达2-3万，同时，支持多种数据源也提供了异步支持。　　Phoenix　　大数据的同学肯定对其很了解，是Apache基金会下的顶级...

关键词：

软件开发
大数据

一条数据的HBase之旅，简明HBase入门教程(图)

分享到：

　　示例数据　　给出一份我们日常都可以接触到的数据样例，先简单给出示例数据的字段定义：　　示例数据字段定义　　本文力求简洁，仅给出了最简单的几个字段定义。如下是”虚构”的样例数据：　　示例数据　　在本文大部分内容中所涉及的一条数据，是上面...

关键词：

软件开发
大数据

Hadoop 3中的磁盘管理大招解密(图)

分享到：

　　1、前言　　本文深入研究 HDFS 磁盘平衡的新特性，这是 Hadoop3 中加入的一个特性。　　HDFS 现在包括（在 CDH 5. 8. 2 和更高版本中发布）用于跨节点移动数据的全面的存储容量管理方法。　　在 HDFS 中，DataNode 将数据块分散到本地文件系统目录中，...

关键词：

hadoop
大数据
Hadoop

Spark Shuffle过程分析：Reduce阶段处理流程(图)

分享到：

　　Spark在Map阶段调度运行的ShuffleMapTask，最后会生成.data和.index文件，可以通过我的这篇文章 Spark Shuffle过程分析：Map阶段处理流程了解具体流程和详情。同时，在Executor上运行一个ShuffleMapTask，返回了一个MapStatus对象，下面是ShuffleMapT...

关键词：

大数据
Spark

Spark及Spark Streaming核心原理及实践(图)

分享到：

　　导语：Spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及spark streaming之后，对spark技术的使用有一些自己的经验积累以及心得体会，在此分享给大家。...

关键词：

Spark
大数据

深入了解HBase架构(图)

分享到：

　　HBase架构组件　　从物理结构上讲，HBase由三种类型的服务器构成主从式架构。Region Servers为数据的读取和写入提供服务。当访问数据时，客户端直接和Region Servers通信。Region的分配，DDL (create, delete tables)操作有HBase Master进程处理。Zook...