hadoop生态系统组件测试工具
ETL测试主要流程
分析业务及需求
1.业务流程和业务规则——根据业务需求分析源表与目标表 mapping 关系。
2.数据重点关注。
测试计划+用例设计+数据准备
1.与数据开发人员沟通——拿到数据处理的详细步骤。
2.提前准备测试用例和数据——最大程度覆盖测试场景。
静态代码CR
静态代码CR的目的是尽早通过阅读代码发现显而易见的缺陷或Bug。
比如：数据类项目（主要侧重HiveSQL的CR）通用检查项如下：
测试执行
不污染生产数据
测试覆盖全面
测试要点
功能+性能+安全
场景：
HiveSQL语法
规范验证
加载规则
调度任务的测试
数据质量（数据质量监控平台来进行定期监测）：
数据完整性
一致性
准确性
及时性也
常规性能测试验证参数：
内存使用率
吞吐率
任务完成时间
存储：大数据量情况下数据如何存储在不同的节点中，是否有表漏写分区
并发性：大并发场景下的数据读取、写入、计算等性能，有多少个线程可以执行写入和读取操作。
JVM参数：堆大小，GC收集算法。
缓存：调整缓存设置“行缓存”和“键缓存”。
超时：连接超时值，查询超时值、任务执行超时。
消息队列：消息速率，大小。
特殊数据进行加密
数据权限：（库、表、文件层面）+ （数据行、列）
实施数据读取、下载、管理权限控制
本文内容不用于商业目的，如涉及知识产权问题，请权利人联系51Testing小编(021-64471599-8017)，我们将立即处理
