有效保障数据质量的3个关键 数据质量管理解析( 二 )


基本视角信息是对某条数据的基本特征信息的描述,组织视角信息是指某条数据在不同的组织范围描述的不同信息,业务视角信息是指某条数据在不同的业务场景下描述的不同信息 。当然也可以从共享的角度去描述一条数据的信息,也就是常提到的主数据 。
作为国内企业静态数据中心管理理念的首推者,中翰认为,从全面解决数据质量问题的角度出发,构建360度全视角管控的静态数据中心,对全部三类视角的数据质量进行管控才是最好的选择 。
全视角数据的描述包括基本、组织和业务三个视角的数据描述,以物资数据举例,具体结构形式如下图:
2、通过技术+行为的手段深层次保障数据质量
纯技术的手段并不能完全实现对数据质量的管控,因此,中翰认为,需要从行为(行为约束)入手去深层次解决数据质量问题 。
所谓行为约束,是指对数据采集端的人的行为的控制,比如数据新增过程中的审核也是行为约束的一种 。最好的行为约束首先应该在源端,也就是针对数据维护操作的人我们要严加“防范”,确保每个人都能深入到属性字段级别最准确地录入相关的属性取值,要确保专业的事由专业的人来做,而不是很多人希望的统一由一个人代劳维护所有或者某部分数据的信息,维护入口的统一不代表数据的统一和高质量,相反却掩盖了对数据的不专业导致的二次维护错误问题 。
因此,需要在技术手段的基础上开启数据协同维护机制,强化数据源头责任,强化过程行为约束,更深层次地管控数据质量 。如下图所示:

有效保障数据质量的3个关键 数据质量管理解析

文章插图
有效保障数据质量的3个关键 数据质量管理解析

文章插图
另外,众多企业的企业信息化建设经历了多年的发展,各业务系统中积累了大量的丰量(历史)数据,对现存的历史数据的清洗同样适用技术+行为的手段,通过对历史数据的全面梳理和规范,将质量有保证的数据准确发布到各业务系统中,确保各业务系统中历史数据的准确 。
3、构建日常数据质量监测体系持续确保数据质量
导致数据质量产生问题的因素有多种,中翰希望能够打造一套针对数据质量的监测机制,把问题“扼杀”在摇篮阶段 。
2018年3月15日,中华人民共和国国家质量监督检验检疫总局、中国国家标准化管理委员会发布了GB/T 36073-2018数据管理能力成熟度评估模型,此模型对企业的数据管理能力进行了分级,根据不同等级提出不同的改进、发展建议 。但是这种评估成本较高,周期太长,甚至很多企业很多年才能评估一次 。
为了确保数据质量的持续性良好,中翰认为,数据治理项目实施后需要构建一个基于大数据行为分析的数据质量监测平台,而不是传统意义的基于属性字段级的技术验证 。平台需要具备实时探知数据质量的能力,并且把数据质量量化展现,同时提供问题数据处理的通道 。数据质量监测平台的具体逻辑架构如下图所示:
由上图可以看出,大数据行为的质量监测是对数据的一致性、完整性、合规性、冗余性、有效性和及时性6方面质量标准的深层次的大数据行为分析,此方式结合复杂逻辑的算法而非传统的正则表达式等,最终通过图和表的结合高效展现数据质量结果,提高数据质量的可视化效果 。

推荐阅读