一、什么是大数据？
大数据是大型数据集的集合，它是不能用传统的计算技术处理的。这些数据集需要运用到各种各样的工具、技术及框架来处理。大数据涉及到数据的创建、存储、检索及分析，这对于容量、多样化及速率都是非常关键的。你可以这里了解到更多关于Big Data, Hadoop and Mapreduce 的信息。
在本教程里，我们将学习到：
· 大数据测试策略
· 验证大数据应用的测试步骤
步骤一：数据分级验证
步骤二："MapReduce "验证
步骤三：输出验证阶段
· 架构测试
· 性能测试
· 性能测试方法
· 参数性能测试
· 测试环境需求
· 大数据测试VS传统数据库测试
· 大数据场景中使用的工具
· 大数据测试面对的挑战
二、大数据测试策略
大数据应用测试更多是对数据处理的验证，而不是软件产品的单个特征的测试。当谈到大数据测试的时候，性能与功能测试是关键。
在大数据测试中，测试工程师通过使用云服务和其他服务方式来验证成功的处理TB 级别数据的流程，这就需要非常高的测试技能，因为运行过程是非常快的。处理有三种类型：
与此同时，在大数据测试中数据质量也是非常重要的因素。在测试应用之前，校验数据的质量是必要的，应该把它当成数据库测试的一部分。它涉及到校验各种各样的特征如一致性、准确性、可复制性、一致性.有效性及数据完整性等等。
三、验证大数据应用中的测试步骤
下面的图高度概况了在测试大数据应用中的几个阶段
1、大数据测试大概是以下三个步骤
步骤一：数据分级验证
大数据测试的第一步，也叫Pre-Hadoop阶段，涉及到过程验证
· 验证来自于RDBMS，博客及社交媒体等这些资源数据确保导入系统的数据是正确的。
· 把比较源数据及数据放到Hadoop系统中确保他们是匹配的。
· 提取验证正确的数据，然后加载到正确的HDFS位置。
数据分级验证中可以使用Talend，Datameer这样的工具。
... ...
查看全文内容，请点击下载：http://www.51testing.com/html/15/n-3715215.html
性能测试按以下顺序执行：
1.先设置大数据集群，而后测试性能
2.识别和设计相应的工作量用例
3.准备单个客户（创建自定义脚本）
4.执行测试并分析结果（如果目标没有达到，调整组件重新执行）
5.优化配置
性能测试参数
· 性能测试中需要验证各种参数
· 数据存储：何如在不同的节点存储数据
· 提交日志：最大可提交日志
· 并行性：多少线程可以执行写读操作
· 缓存：优化缓存设置"行缓存"和"关键缓存"
· 超时：链接超时的值，查询超时等等
· JVM参数：堆大小，GC收集算法等等
· Map Reduce性能：排序、合并等等
· 消息队列：消息的速率，大小等等
测试环境需求
· 测试环境需求取决于测试的应用类型，对于大数据测试，测试环境应该包含：
· 应该有足够的存储空间，能处理大量数据
· 应该有分布式节点和数据的集群
· 应该有最低CPU和内存使用率来保持高性能
... ...
查看全文内容，请点击下载：http://www.51testing.com/html/15/n-3715215.html
版权声明：51Testing软件测试网及相关内容提供者拥有51testing.com内容的全部版权，未经明确的书面许可，任何人或单位不得对本网站内容复制、转载或进行镜像，否则将追究法律责任。
