大数据的领域涉及到各方面,主要数据的创建、存储、检索、分析,并且在数量,多样性,速度方面都让人惊叹。
大数据测试类型
在大数据进行测试中,QA工程师通过数据信息处理可以是三种不同类型。批量、实时、交互。同时,数据质量也是大数据测试的重要因素,它涉及到检查各种领域。如精确性,重复,一致性,效率,数据的完整性。
大数据测试步骤
大数据进行测试实现被分成以下三个步骤——
第一个步骤:数据阶段验证
来自各方的数据资源应当验证,以确保正确的数据被加载到系统,将源数据与推送到Hadoop系统中的数据进行分析比较,以确保它们可以匹配。
确认正确的数据被提取并加载到HDFS正确的位置,该阶段可以使用工具Talend或Datameer,进行数据阶段验证。
第二个步骤:“MapReduce”验证
在这个阶段,测试者在每个节点上进行业务逻辑验证。然后在运行多个节点后验证,确保如下操作的正确性。
Map与Reduce进程正常工作:在数据上实施数据聚合或隔离规则。
生成键值对:在执行Map和Reduce进程后验证数据。
第三个步骤:输出阶段验证
生成输出数据文件,同时把文件移到一个EDW(企业数据管理仓库)中或把文件通过移动到其他基于市场需求的系统中,在第三阶段的活动包括:
检查转换规则被正确应用
检查数据信息完整性和成功的数据加载到目标系统中,通过将目标数据与HDFS文件系统数据进行比较去检查数据损坏情况。
以上就是大数据的测试步骤,你对它有了一些认识了吗?
本文内容不用于商业目的,如涉及知识产权问题,请权利人联系51Testing小编(021-64471599-8017),我们将立即处理