对于存在大数据业务的企业来说，大数据测试是一项关键的工作。大数据类项目通过收集处理大量的数据，并结合各种技术手段对数据进行分析、建模，从而帮助企业创造价值，带来效益。通过大数据测试来保证数据在整个业务流转中的正确性，才能确保数据带来价值的准确性。
6.1 大数据测试概述
6.1.1 什么是大数据测试
我们了解到，目前业界没有对“大数据测试”给出明确的定义。经过严谨调研，我们尝试对大数据测试给出定义：是指对大数据系统、大数据应用、大数据ETL的测试。
1.大数据系统测试
这里的大数据系统指的是使用Hadoop生态系统相关组件搭建的系统，或自主研发的大数据应用系统。前者一般由运维人员维护，后者一般由开发人员开发维护。
通常，针对Hadoop生态系统中组件（主要包括Hive、MapReduce、HBase等）的测试，是测试其是否能够满足业务使用需求，是否能够通过性能基准测试。事实上，业务中使用的组件通常是根据经验来选择的，并不是先对组件进行测试，认为测试结果符合预期才选择使用。对于组件的测试工作通常发生在研发新产品后，比如生产了一款类似于Oracle或者MySQL的新数据库产品，该产品需要符合行业基准测试来证明其性能，这时就需要进行基准测试来提供性能报告。大数据基准测试大都是在传统测试基准的基础上进行裁剪、扩充、综合而来的。TPC-DS测试基准通常用作HiveQL、SparkSQL等的测试基准，它是TPC组织推出的用于替代TPC-H的下一代决策支持系统测试基准。常见的基准测试工具如表6-1所示。
自主研发的大数据应用系统包括大数据存储、计算、分析相关的应用（自主研发，与Hadoop生态系统组件功能相似）及大数据平台。大数据平台包括元数据平台、数据质量监控平台、数据调度平台、数据开发平台、BI平台等。大数据平台与传统平台的功能测试方法有很多相似性，但由于它处理的数据是大数据，所以两者也存在差异性，不再赘述。
2.大数据应用测试
大数据应用测试是指对大数据应用产品的测试。大数据应用产品有很多，比如BI报表、用户画像类产品、反欺诈类产品、推荐系统等。对于这类应用的测试，更多是从特征及模型角度进行测评，具体可参考第9章和第10章。
3.大数据ETL测试
本章6.2节将会重点围绕大数据ETL测试展开介绍，在5.3.1小节已经介绍过ETL是指从源系统中提取数据，进行数据转换、清洗等处理后最终存入目标数据仓库的过程。通常来说，流入数据仓库的数据一般会存在各种各样的问题，这些异常数据会导致数据挖掘不准确，从而影响模型决策结果。ETL处理过程会分析数据源的问题，按照一定规则对其进行清洗转换，进而得到满足业务需要的数据。由此可以看出，ETL过程的质量和效率将直接对业务产生影响。因此，做好大数据ETL测试非常有必要。
大数据ETL测试需要从源到目标之间各个不同阶段去检测数据流转逻辑及数据质量，此外，还涉及源和目标之间的各个中间阶段的数据验证。大数据ETL测试是为了确保从源到目标的数据经过业务转换后是准确的。大数据ETL测试必须从大数据质量体系出发，使用特定的测试手段和方法，依据完善的测试流程规范，来保证数据更好地服务业务。
6.1.2 大数据测试与传统数据测试差异
在学习大数据测试相关知识之前，需要了解它和传统数据测试的差异，这有助于更好地认识大数据测试。传统数据测试和大数据测试相比，部分功能测试是相似的，但又有很多不同点。下表6-2对大数据测试和传统数据测试进行了简单对比。
本节主要介绍了什么是大数据测试及大数据测试与传统数据测试由于数据特性差异、存储差异带来的测试方法、测试工具等的差异。在6.2节中，我们会重点讲解大数据ETL测试流程及方法，带领读者进一步了解ETL测试。
版权声明：51Testing软件测试网获得人民邮电出版社和作者授权连载本书部分章节。
任何个人或单位未获得明确的书面许可，不得对本文内容复制、转载或进行镜像，否则将追究法律责任。
