相信看这篇文章的你们，都和我一样对Hadoop和Apache Spark的选择有一定的疑惑，今天查了不少资料，我们就来谈谈这两种 平台的比较与选择吧，看看对于工作和发展，到底哪个更好。 一、Hadoop与Spark 1.Spark Spark是一个用来实现快速而通用的...
我们最近在Reddit上做了问答活动。有个最常见的问题是数据科学家和数据工程师之间的区别。因此，我们想在这个主题上下写一篇文章来深入探讨下这个话题。 有许多数据专家的岗位听起来没多大区别，使用的工具也很类似，我们很难知道各类职位应该承...
据最新发布的《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。 领英报告表明，数据分析人才的供给指数最低，仅为0.05，属于高度稀缺。数据分析人才跳槽速度也最快，平均跳槽速度为19.8个月。 根据中...
今年广州的六月，在经历了大雨的洗礼之后，一切都变得更加明朗起来，新的工作，新的人和事。懒惰让我变得更焦虑，焦虑促使我进步，程序员的焦虑大家应该都有共同的感觉，时代的步伐太快了，在这个环境下的软件开发一定会淘汰掉那些不懂得学习，懒惰的人...
Hadoop大数据分析平台的介绍性讨论，以及可与Hadoop集成的其他工具，以实现更好的数据提取和分析。 Hadoop是迄今为止MapReduce最主流的执行，是一个完全开源的平台，用于处理大数据。它具有足够的适应性，能够同时处理各种数据源，或者汇集不同的信...
Salesforce公司的一项调查显示：53%的员工要经常查看分析数据，却只是依靠手工操作。在大量的电子表格、图表和数据中滚动鼠标，就好比是大海捞针。数据可视化工具面向用户直观显示结果，帮助用户快速理解和分析数据。 高质量的可视化工具对于数据分...
每个大学生都可以从学习基本数据分析中受益。因此，大数据应该是大学课程的一部分。 随着技术的进步，越来越多的公司正在生产大量数据，作为其日常运营的副产品。虽然专家并不认为“大多数企业实际上已经淹没”数据海洋，但可以说，想要长期未来的公...
本文我们来看看，如果大量客户端对NameNode发起高并发(比如每秒上千次)访问来修改元数据，此时NameNode该如何抗住? 一、问题源起 我们先来分析一下，高并发请求NameNode会遇到什么样的问题。 大家现在都知道了，每次请求NameNode修改一条元数...
问题导读 大数据该如何存储到硬盘上? 存储数据后，该考虑如何处理数据 什么是Map?什么是Reduce? Hive、Pig、Storm技术是如何产生的? 大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理...
大数据已经改变了网络主机市场的两端。文中将讨论这一点的重要性以及应该了解的内容。 云计算技术对网络托管行业产生了深远的影响。它主要是由大数据的进步推动的。由于大数据已经彻底改变了网络托管行业，因此有大量新的托管选项可供选择。 大...
按照制度社会学的观点，人类社会的实质是一套广义的制度体系。所有的制度都类似于生命，有它诞生、成长、演进、衰退的周期，技术的进步是推动制度变迁的根本原因，成本更低、风险更小、效率更高是制度选择与演进的基本准则。 保险是一项制...
大数据拥抱云计算 在PaaS层中一个复杂的通用应用就是大数据平台。大数据是如何一步一步融入云计算的呢? 1数据不大也包含智慧 一开始这个大数据并不大。原来才有多少数据?现在大家都去看电子书，上网看新闻了，在我们80后小时候，信息量没有那...
提取、转换、加载(ETL)是一个成熟的过程，它使组织能够利用不同的数据，而不管数据驻留在何处或存储数据的格式如何。随着时间的推移，ETL随着业务需求的发展，支持NoSQL数据库中的流数据和非结构化数据以及关系数据库中的结构化数据。 ETL为什么如此...
企业级技术 = 艰苦的工作 其实大数据有趣的是它不是直接可以炒作的东西。 能够获得广泛兴趣的产品和服务往往是那些人们可以触摸和感受到的，比如：移动应用，社交网络，可穿戴设备，虚拟现实等。 但大数据，从根本上说是“管道”...
Spark有几种资源调度设施。每个Spark Application(SparkContext实例)独立地运行在一组executor进程内。cluster manager为应用间的调度提供设施。在每个Spark应用内，如果将多个job(多个spark action)提交给不同的线程，那么他们会并行运行。 1 ...
摘要：以“数字金融新原力(The New Force of Digital Finance)”为主题，蚂蚁金服ATEC城市峰会于2019年1月4日上海如期举办。金融智能专场分论坛上，蚂蚁金服数据平台部高级数据技术专家李俊华做了主题为《蚂蚁金服数据治理之数据质量治理实践》的精彩分...
eBay的CAL（Central Application Logging）系统负责收集eBay各种应用程序的日志数据，并且通过Hadoop MapReduce job生成日志报告，应用程序开发人员与运维人员通过报告可获得以下内容： API调用响应时间的百分位值； 服务调用关系； 数据库操...
近些年来，大数据已成为了大家茶余饭后讨论的热门话题，像数据安全、数据挖掘、数据分析等围绕大数据的一系列技术也深受市场的喜爱。那么，在这样一个满城尽谈大数据的时代背景下，大数据的核心价值究竟是什么?今天就让我们一起来探讨下。 在明确...
如果数据收集在2018年让人们明白一件事的话，那就是使用数据的公司与商业模式依赖数据利用的公司之间存在一条明显而深刻的界线。由于剑桥分析公司数据泄露事件，Facebook公司需要向美国联邦贸易委员会支付数十亿美元的罚款。而现在是企业评估如何处理数...
Hadoop系统的发展解决了企业大数据的存储和处理能力的问题。但是系统本身并不能对数据形成分析和理解。如何从海量的数据中发现有用的知识并为企业发展提供帮助和指导，是数据挖掘技术的研究目标。 简单来说，数据挖掘就是利用人工智能、机器学习、统...
