如何进行数据质量管理?

发表于:2019-6-10 14:05

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:产品经理萝卜    来源:CSDN

分享:
  近几天看了项目中一些数据质量管理的文档,较之前产品规划中的空想设计又前进了一步,可以实际落地一些功能。下图为数据质量管理的总体框架,其中,
  数据标准、元数据是数据质量管理的前提和基础,只有将源数据的字段类型、字段值范围等调查清楚,才能设计出数据质量评估的规划体系;
  常规的数据质量检查包括五类,即完整性、有效性、一致性、惟一性和时效性,都是以字段为检查对象,可以发现数据中的脏数据,将问题数据扼杀在摇篮中。
  对于检查发现的问题,需要通过流程、组织、工单等IT化手段进行跟踪和解决。
  对于这个数据质量管理的框架,个人理解仍然偏重于基础数据的数据质量管控,对于更加上层的统计指标的准确性、一致性、惟一性等均没有涉及,以前实践中的数据平衡公式应该可以用于检查准确性方面的问题,即将统计指标之间的逻辑关系梳理出来,比如,期末帐户余额=期初余额+用户充值-余额扣费;惟一性方面的问题通过构建合理的指标库进行解决;一致性方面的问题可以通过指标的血源分析解决。
  数据质量检查的技术框架如下图所示,这里主要是检查规则配置、检查规则执行和问题跟踪。对于检查规则,应该可以用通用的规则引擎进行解决,目前项目中自己写了一套规则解析和执行的程序。
  下面是项目中用到的一些检查规则范例,从这些规则也可以看出,这些检查规则通常也是IT系统的数据约束规则,会内置到相关的程序代码中,正常情况下不会出现违反这些规则的”脏数据“。如果出现类似的数据,应该第一时间和业务系统进行沟通,通过完善IT系统、规范业务流程去规避问题数据的出现。
 
      上文内容不用于商业目的,如涉及知识产权问题,请权利人联系博为峰小编(021-64471599-8017),我们将立即处理。
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号