关闭

数据质量管理:数据中心优化必修课

发表于:2012-1-10 10:04

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:但彬    来源:51Testing软件测试网采编

  数据是企业数据中心的重要资产,获取并维护高质量数据,对高效的IT和业务运营至关重要。面对复杂度不断增加的业务数据,如何全面保证数据质量?借助完备的Informatica数据质量平台,无论何时何地,您都可以在整个企业内访问,甄别、清洗、集成、交付可信的数据,并在第一时间找出并修正藏匿于任意位置、令您的公司动辄花费上百万的数据质量问题。

  Informatica的数据管理目标

  您心目中企业数据的价值几何?调查显示,信息的价值平均为企业价值的37%,可以说,信息已经成为企业最重要的资产之一,越来越多的企业更加重视数据中心的建设。但有许多因素会导致这些“资产”贬值,比如数据的冗余和重复导致信息的不可识别、不可信,信息时效性不强,精确度不够;结构或非结构数据使整合有困难;管理层面的人员变动引发的影响;数据标准不能统一,相关规范不完善造成对数据理解的不充分等等。

  Informatica既可以在数据架构层面提供信息传递、B2B数据交换、企业数据集成等一系列的基础架构解决方案,同时也可为行业提供数据质量管理、主数据管理和复杂事件处理等方案,来支撑数据中心实现可信、交互、权威的信息资产管理,达成企业的业务目标,这也是信息中心建设的一个重点。

  数据质量管理的整体框架

  数据质量管理在数据中心建设中是一个完整的生态链。数据质量会受到供应商、生产员工、工艺流程以及内部客户和外部一些系统的影响,同时,从应用和软件角度方面讲,数据提供者、软件开发集成、质量管控手段等也都会影响到企业数据质量的整体状况。

  从数据质量整体框架和方法论上讲,首先我们要确定目标,然后要清楚用什么人,通过怎样的流程,采用什么样的技术支撑来达成目标,人、流程、技术三方面缺一不可。而设定最终目标前最重要的一件事是要了解现状,找出企业最关注哪些数据质量,通过记分卡对现有数据进行评估,同时还要进行实时的监控,从流程、时间角度发现数据的变化,了解现状后确定的目标才是可信、可完成的,而不是天方夜谭式的水中月、雾中花。

  数据质量理论上不是完全可控的,要实现数据质量提升,必须要做到指标的可量化,通过量化指标实现质量可控。从技术层面讲,要从以下六个角度去考量数据质量,也称为数据质量的矩阵,包括:完备性(信息是否填写全面)、符合性(数据是否按照标准格式进行填写)、一致性(是指内部冲突,同一系统中两个字段间相关推导和约束关系)、准确性(包括数据是否真实有效和数据是否及时更新)、唯一性(多条信息是否相同和一致)以及完整性(从约束性和参考性方面考虑,数据相互间的参照关系)。当然,企业是要根据自己的业务需求来确定考量数据质量的指标或体系,并不一定必须局限在这六个方面。

  构建数据质量处理流程

  一个完整的数据质量管理,是人、流程和技术的完美配合,才能达到我们数据质量管理的目标。那数据质量处理的流程是怎样的呢?对于数据质量的处理,我们把它分成两大部分,一是面向数据质量的分析过程,二是针对分析结果进行增强的过程。先要识别和量化数据质量,然后定义数据质量和目标,接下来就要交给相关部门设计质量提升的流程,其后就是实现质量提升的流程,把原有低质量数据变成高质量数据,并交付给业务人员使用。同时,在整个环境中,还需要有相关的一些监控和对比来评估是否达成了目标,决定是否需要进行新一轮的数据质量提升。这是一个周而复始、螺旋上升的过程,并不是一蹴而就,一次就可以解决全部问题。

21/212>
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号