有效保障数据质量的3个关键 数据质量管理解析

数据质量管理解析(有效保障数据质量的3个关键),小编带你了解更多信息 。
在如今这个大数据时代,数据质量对数据价值的意义至关重要 。数据质量的好坏极大程度上影响着业务的发展情况 。好的数据质量是驱动企业业务蜕变发展的基础 。在企业级的数据治理项目中,数据质量管理是其中重要的一环 。
一、关于数据质量
在解释如何保障数据质量之前,我们先要给数据质量下一个定义:
“数据质量,指的是在组织业务,管理要求下,符合数据使用者满足业务,管理需求的评价方式 。”
其中隐含了两层意思:
1、数据质量是一种评价方式;
2、数据质量要满足使用者需求 。
【有效保障数据质量的3个关键 数据质量管理解析】举例来说,就像人们从各个角度诸如手机外形、材质、内存、性能等各个方面评价一部手机是否合用一样 。如果从数据使用者的角度来看数据质量,就是看当前数据的特性能否满足企业做数据分析或挖掘等一系列需求 。
当数据出现内容缺失、不真实、前后不一致等问题时,数据质量就出现了问题 。比如某快消品推广人员为了应付公事假造了一些调研内容,且与市场上真正消费人群的喜好相悖 。而如果销售人员将这些虚假的统计数据作为参考,并制定销售计划,最终很有可能会给企业造成严重的经济损失 。
反之,当数据质量提高,对应数据内容变得详实、准确、完整时,就能够更好地服务于企业的各类决策,推动企业业务有序正向发展 。
二、数据质量问题
(一)产生原因
随着企业业务的发展,数据类型、数据来源越来越丰富,数据数量也随之快速增长,企业在数据管理工作和数据流程中面临着越来越多的数据质量问题 。在企业内部,数据问题可能产生于从数据输入到数据存储、管理、使用的各个环节 。
在数据采集阶段,数据的真实性、准确性、完整性、时效性都会影响数据质量,比如业务部门口径不统一、输入不规范等 。除此之外,数据的收集、加工、存储等过程也会由于技术问题而对数据质量产生影响 。很多时候,由于相关人员对数据重视程度不足、管理不完善,难以对数据质量问题进行监控和追责,也会导致企业内数据质量偏低 。
所以,业务、技术、管理等多方面的因素都有可能会影响到数据质量,最终可以总结为主观、客观两方面因素:
主观因素:指数据各环节处理中,由于人为的疏忽或者管理缺陷等,导致数据错误,数据遗漏,数据丢失的情况;客观因素:指在数据流通的各个环节,由于系统异常或者流程设置不当,引起的数据质量问题 。
(二)具体内容
一般来说,企业会遇到的数据质量问题可以总结为以下几点:
● 数据规范性:指数据是否按统一格式存储 。数据的内容、格式和展现形式,都必须符合数据定义和业务定义的要求,不能违反数据标准规范 。
● 数据准确性:指数据和信息的内容是否正确,有没有无效数据、错误数据或超期数据等 。真实可靠的原始统计数据是企业统计工作的灵魂、是一切管理工作的基础、是经营者进行正确经营决策必不可少的一手资料 。不可靠的数据可能会导致严重的问题,会造成有缺陷的方法和糟糕的决策 。
● 数据唯一性:指数据是否存在重复,或者数据的某些属性是否重复 。用于识别和度量重复数据、冗余数据 。重复数据是导致业务无法协同、流程无法追溯的重要因素,也是数据治理需要解决的最基本的数据问题 。
● 数据完整性:指数据是否丢失,或者有不可用的情况 。比如模型设计不完整、数据条目不完整、数据属性不完整等情况 。不完整数据的借鉴价值会大大降低,这也是数据质量问题中比较基础和常见的一类问题 。
● 数据一致性:指数据的值在信息含义上是否有冲突,也就是相同的数据有多个副本的情况下的数据不一致、数据内容冲突的问题 。
● 数据关联性:指关联的数据是否缺失,或者未建立索引 。例如:函数关系、相关系数、主外键关系、索引关系等 。存在数据关联性问题,会直接影响数据分析的结果,进而影响管理决策 。
三、如何有效保障数据质量
中翰软件在数据治理领域深耕多年,于丰富的数据质量管理经验中,总结出了一套独特的管理方法,主要体现在以下三点中:
1、构建全视角管控的静态数据中心,全面保障数据质量
一般人们会通过基本、组织和业务三个视角信息对数据进行描述 。

推荐阅读