快乐工作,认真生活!

电子政务行业的数据中心测试

上一篇 / 下一篇  2013-07-23 09:25:48 / 天气: 晴朗 / 心情: 平静 / 个人分类:测试技术

电子政务行业的数据中心测试

电子政务行业的数据中心搭建结构图:

 

 

根据数据中心的系统特点,测试重点可以从下面几个方面着手:

1抽取方案稳定性测试:抽取方案的稳定性,如果源系统数据库表结构有改变,能否保证ETL抽取方案不变或者微变。

 

2数据传送方案合理性测试:源系统以何种形式把数据提供给前置机?数据的形式库或者文件的形式传送?前置机数据以何种形式提供给数据中心核心库?是源系统主动推送还是采集工具主动抽取?

 

3抽取策略的合理性测试:全量抽取或者增量抽取。源系统的数据采用全量抽取,或者是增量抽取?

  对于增量抽取,如何捕捉变化的数据?如新增、修改、删除等变化数据的处理?

增量抽取时间戳字段的选择?

 

4数据抽取与加载业务逻辑关系测试:数据表之间是否存在关联、依赖关系,如a表数据还未采集完成或者没有采集,是可以开始b表数据的采集,加载也一样,是否依照了业务关系文档?

 

5历史记录的处理方案测试:数据库表是否需要保存历史记录?保留历史记录的方式?拉链记历史?

 

6加载策略的测试:1trunctae and insert.直接清空目标表,然后把新的数据加载进去。2append.先根据规则清除当天的记录,然后把当天的新数据追加进去。3update and insert.用新数据与目标表中的历史数据进行比较,有变化的则更新,新记录则直接插入到目标表中。

 

7数据延迟的范围的测试:包括前置机与源数据库的数据延迟,前置机与数据中心的数据延迟,测试是否达到需求标准

 

8数据断层的测试:数据中心的数据根据业务进行关联,是否存在数据孤岛,即关联不上的数据?

 

9数据采集工具本身的功能是否需要涉及?如数据工具自带的多配置功能

 

10采集任务定时调度测试:采集任务是否支持可配置?定时调度?

 

11数据质量的分层测试:包括odl(源数据层)bdl(基础数据层)、idl(接口数据层)、adl(应用数据层)

模块

名称

检查点

测试方法

备注

数据采集(业务层)

1、 记录平衡验证。

基于查询的测试

验证执行结果中的记录条数是否符合业务需求的记录条数。

2、数据质量完整性验证。

基于校对工具的测试

检查源数据数据质量与业务层数据质量一致性。

导出excel,利用Beyond Compare 3工具进行验证。

3、变化数据的验证

基于查询的测试

当源系统新增、修改、删除一批数据时,验证变化数据被抽取到数据中心的情况。

4、拉链记历史

基于查询的测试

对历史记录的保留情况的验证。

5、全量采集

基于查询的测试

根据源表数据量采用不同的抽取策略。

6、增量采集

基于查询的测试

根据源表数据量采用不同的抽取策略,对时间戳分类验证。

数据处理(基础层)

1、 记录平衡验证。

基于查询的测试

验证执行结果中的记录条数是否符合业务需求的记录条数。

2、 度量平衡验证。

基于查询的测试

验证执行结果中可累加度量(如金额)的总量是否符合需求,边界值是否符合需求,枚举值是否符合需求。

3、数据标准符合性验证

基于校对工具的测试

使用交通信息数据与标准符合性检测系统进行检查(资源目录)

4、数据有效性验证

基于查询的测试

包括数据格式的合法性、

值域的有效性、

空值的处理、

主键的有效性、

乱码的检查、

脏数据的处理

5、清洗规则验证

枚举测试

枚举reiking中的处理方法进行检查

相关阅读:

TAG: etl测试 数据中心 数据仓库 电子政务

 

评分:0

我来说两句

樱花季节

樱花季节

专注测试技术、数据仓库、hadoop,曾就职于阿里巴巴,现在长沙拓维信息

日历

« 2022-01-18  
      1
2345678
9101112131415
16171819202122
23242526272829
3031     

数据统计

  • 访问量: 5073
  • 日志数: 6
  • 书签数: 2
  • 建立时间: 2010-10-26
  • 更新时间: 2013-07-31

RSS订阅