电子政务行业的数据中心测试
上一篇 / 下一篇 2013-07-23 09:25:48 / 天气: 晴朗 / 心情: 平静 / 个人分类：测试技术
电子政务行业的数据中心搭建结构图：
根据数据中心的系统特点，测试重点可以从下面几个方面着手：
1、抽取方案稳定性测试：抽取方案的稳定性，如果源系统数据库表结构有改变，能否保证ETL抽取方案不变或者微变。
2、数据传送方案合理性测试：源系统以何种形式把数据提供给前置机？数据的形式库或者文件的形式传送？前置机数据以何种形式提供给数据中心核心库？是源系统主动推送还是采集工具主动抽取？
3、抽取策略的合理性测试：全量抽取或者增量抽取。源系统的数据采用全量抽取，或者是增量抽取？
对于增量抽取，如何捕捉变化的数据？如新增、修改、删除等变化数据的处理？
增量抽取时间戳字段的选择？
4、数据抽取与加载业务逻辑关系测试：数据表之间是否存在关联、依赖关系，如a表数据还未采集完成或者没有采集，是可以开始b表数据的采集，加载也一样，是否依照了业务关系文档？
5、历史记录的处理方案测试：数据库表是否需要保存历史记录？保留历史记录的方式？拉链记历史？
6、加载策略的测试：1、trunctae and insert.直接清空目标表，然后把新的数据加载进去。2、append.先根据规则清除当天的记录，然后把当天的新数据追加进去。3、update and insert.用新数据与目标表中的历史数据进行比较，有变化的则更新，新记录则直接插入到目标表中。
7、数据延迟的范围的测试：包括前置机与源数据库的数据延迟，前置机与数据中心的数据延迟，测试是否达到需求标准
8、数据断层的测试：数据中心的数据根据业务进行关联，是否存在数据孤岛，即关联不上的数据？
9、数据采集工具本身的功能是否需要涉及?如数据工具自带的多配置功能
10、采集任务定时调度测试：采集任务是否支持可配置？定时调度？
11、数据质量的分层测试：包括odl(源数据层)、bdl（基础数据层）、idl（接口数据层）、adl（应用数据层）
模块 名称 | 检查点 | 测试方法 | 备注 | |||||||||||||||||||||||||||||||||||||||||||||||||
数据采集（业务层） | 1、 记录平衡验证。 | 基于查询的测试 | 验证执行结果中的记录条数是否符合业务需求的记录条数。 | |||||||||||||||||||||||||||||||||||||||||||||||||
2、数据质量完整性验证。 | 基于校对工具的测试 | 检查源数据数据质量与业务层数据质量一致性。 导出excel，利用Beyond Compare 3工具进行验证。 | ||||||||||||||||||||||||||||||||||||||||||||||||||
3、变化数据的验证 | 基于查询的测试 | 当源系统新增、修改、删除一批数据时，验证变化数据被抽取到数据中心的情况。 | ||||||||||||||||||||||||||||||||||||||||||||||||||
4、拉链记历史 | 基于查询的测试 | 对历史记录的保留情况的验证。 | ||||||||||||||||||||||||||||||||||||||||||||||||||
5、全量采集 | 基于查询的测试 | 根据源表数据量采用不同的抽取策略。 | ||||||||||||||||||||||||||||||||||||||||||||||||||
6、增量采集 | 基于查询的测试 | 根据源表数据量采用不同的抽取策略，对时间戳分类验证。 | ||||||||||||||||||||||||||||||||||||||||||||||||||
数据处理（基础层） | 1、 记录平衡验证。 | 基于查询的测试 | 验证执行结果中的记录条数是否符合业务需求的记录条数。 | |||||||||||||||||||||||||||||||||||||||||||||||||
2、 度量平衡验证。 | 基于查询的测试 | 验证执行结果中可累加度量（如金额）的总量是否符合需求，边界值是否符合需求，枚举值是否符合需求。 | ||||||||||||||||||||||||||||||||||||||||||||||||||
3、数据标准符合性验证 | 基于校对工具的测试 | 使用交通信息数据与标准符合性检测系统进行检查（资源目录） | ||||||||||||||||||||||||||||||||||||||||||||||||||
4、数据有效性验证 | 基于查询的测试 | 包括数据格式的合法性、 值域的有效性、 空值的处理、 主键的有效性、 乱码的检查、 脏数据的处理 | ||||||||||||||||||||||||||||||||||||||||||||||||||
5、清洗规则验证 | 枚举测试 | 枚举reiking中的处理方法进行检查 | ||||||||||||||||||||||||||||||||||||||||||||||||||
相关阅读:
标题搜索日历
我的存档数据统计
RSS订阅 | ||||||||||||||||||||||||||||||||||||||||||||||||||||
