概述 前言 统计结果 爬虫代码实现 爬虫分析实现 后记 前言 建议在看这篇文章之前，请看完这三篇文章，因为本文是依赖于前三篇文章的： 爬虫利器初体验(1) 听说你的爬虫又被封了(2) 爬取数据不保存，就是耍流氓(3) 八...
在学习大数据技术的过程中，HIVE是非常重要的技术之一，但我们在项目上经常会遇到一些存储和压缩的坑，本文通过科多大数据的武老师整理，分享给大家。 大家都知道，由于集群资源有限，我们一般都会针对数据文件的「存储结构」和「压缩形式」进行配置...
前言 当大家谈到数据分析时，提及最多的语言就是Python和SQL。Python之所以适合数据分析，是因为它有很多第三方强大的库来协助，pandas就是其中之一。pandas的文档中是这样描述的： “快速，灵活，富有表现力的数据结构，旨在使”关系“或”标记...
数据分析，包括大数据分析，在企业的业务中，特别是在传统的商务行业，已有多年的应用实践，在消费者市场的营销中已成了必不可缺的技术。随着工业互联网和智能制造的兴起和发展，工业大数据技术也越来越受到各方关注。在“中国制造2025”的技术路线图中...
数字经济时代，越来越多的企业认识到数据对企业业务发展的重要作用，只有更快速、全面、有效地理解数据，才能有效的展开竞争，面向企业数据进行敏捷分析成为核心需求，而介于业务和IT人之间的数据科学家也是炙手可热，成了DT时代的宠儿。 来自第三...
除了 pandas、scikit-learn 和 matplotlib，还要学习一些用 Python 进行数据科学的新技巧。 Python 是一种令人惊叹的语言。事实上，它是世界上增长最快的编程语言之一。它一次又一次地证明了它在各个行业的开发者和数据科学者中的作用。Python 及其...
数据处理是对纷繁复杂的海量数据价值的提炼，而其中最有价值的地方在于预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘形式帮助数据科学家更好的理解数据，根据数据挖掘的结果得出预测性决策。 一、大数据采集技术 数据...
对于安防AI，看上去是AI，实际上最后是大数据，大数据才是智能化的基础。人工智能、深度学习、机器学习、大数据应用在安防AI中， 说到底都是对大数据的采集、建模和应用。本文大致说一下安防AI中，对于大数据的运用过程与环节，让大家有个大致的印象。...
近年来，随着大数据应用的爆发性增长，大数据衍生出独特架构，并推动存储、网络及计算机技术的发展，同时也引发了新的安全问题。国际社会已经将大数据安全列入国家信息网络安全战略，国内学术界、信息安全界、产业界也正逐步关注大数据的发展...
Hadoop 是目前大数据领域最主流的一套技术体系，包含了多种技术，例如 HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统）等等。 有些朋友可能听说过 Hadoop，但是却不太清楚它到底是个什么东西，这篇文章就用大白话...
目前，我们可以在市场上找到很多用于网络分析和数据可视化的开源工具，例如NetworkX，R和Gephi中的iGraph包等。在所有工具中，Gephi一直以来被认为是最值得推荐的，它可以帮助用户轻松实现超过十万个节点的可视化。但是，除了Gephi，还有很多免费开源工...
在个人windows系统下，部署项目分以下几步： （1）连接阿里云服务器 （2）将本地java程序的prod配置文件参数配置为服务器的路径、数据库等 （3）项目打包 （4）项目部署运行 （5）部署后访问遇到的问题及解决办法 1、SpringBoot中使...
大约在两年前，开源数据库解决方案MongoDB以及Hadoop曾遭受过大量恶意攻击，这些攻击后被统称为“勒索软件”，因为其攻击者会擦除或加密数据，然后向被攻击者索要资金以恢复数据。自今年以来，不少恶意软件开始频繁向Hadoop集群服务器下手，受影响最大...
前言 有一个大数据项目，你知道问题领域(problemdomain)，也知道使用什么基础设施，甚至可能已决定使用哪种框架来处理所有这些数据，但是有一个决定迟迟未能做出：我该选择哪种语言?(或者可能更有针对性的问题是，我该迫使我的所有开发人员和数据科...
K―平均算法 K―平均算法是一种得到广泛应用的基于划分的聚类算法。其把M个对象分为N个簇，使得每个簇内具有较高的相似度。 在应用该算法进行数据分析时，首先应输入包含M个对象的数据集A以及簇的数目N。从A中任意选择N个对象作为初始簇中心并且...
我们对大数据技术的使用也经历了一个发展过程。从最开始的Google在搜索引擎中开始使用大数据技术，到现在无处不在的各种人工智能应用，伴随着大数据技术的发展，大数据应用也从曲高和寡走到了今天的遍地开花。 Google从最开始发表大数据划时代论文的...
人工智能(AI)，大数据(big data)和云计算(cloud computing)三大技术被认为是当今互联网争夺的关键点。而三大技术中中争议最多的在于大数据技术，被夸大的效果和局限性的应用，很可能会让大数据成为ABC三大技术中最先掉队的一个。 01 ABC的格局 2...
数据和分析为数字化转型提供了燃料，而企业充分发挥这些燃料的唯一途径是，为其统计学家、数据专家和企业分析专家提供正确的数据科学工具，从而为企业提供宝贵的洞察力。 数据科学工具 无论是用于直接统计分析、机器学习建模还是可视化，数据科学...
本文讲述了数据科学家应当了解的五个统计基本概念：统计特征、概率分布、降维、过采样/欠采样、贝叶斯统计。 从高的角度来看，统计学是一种利用数学理论来进行数据分析的技术。象柱状图这种基本的可视化形式，会给你更加全面的信息。但是，通过统计...
数据缺失是数据科学家在处理数据时经常遇到的问题，本文作者基于不同的情境提供了相应的数据插补解决办法。没有完美的数据插补法，但总有一款更适合当下情况。 我在数据清理与探索性分析中遇到的最常见问题之一就是处理缺失数据。首先我们需要明白的...
