数据质量管理

本文基于 DAMA-DMBOK 框架整理，约 1362 字。

1. 引言

有效的数据管理涉及一系列复杂的、相互关联的过程，它能够利用他们的数据来实现其战略目标。但实现数据价值的前提是数据本身是可靠的、可信的，换句话说，数据应该是高质量的。但现实往往是残酷的，在实际生产应用过程中，数据质量往往是低下、不可信的。导致数据质量低下的因素很多，主要包括：组织缺乏对低质量数据影响的理解、缺乏对数据的规划、孤岛式的业务&数据系统设计、不一致的开发过程、不完整的文档、缺乏标准或缺乏治理等。

与数据治理和整体数据管理一样，数据质量管理本身并不是一个项目，而是一项持续性的工作，穿插在组织所有的数据活动中。因此，在组织中所有的数据管理活动中，都应该遵循有助于提高数据质量，支持组织使用高质量数据的原则和目标。

1.1业务驱动因素

希望从数据中获取价值的组织认识到，高质量数据比低质量数据更有价值。使用劣质数据充满风险，会损害组织的声誉，导致罚款、收入损失、客户流失和负面媒体曝光等问题。提高数据质量本身并不是目的，它只是组织获取成功的一种手段。值得信赖的数据不仅降低了风险、也降低了成本，提升了效率。

建立正式数据质量管理的业务驱动因素包括：

提高组织数据价值和数据利用的机会

降低低质量数据导致的风险和成本

提高组织效率和生产力

保护和提高组织的声誉

1.2目标和原则

根据数据消费者的需求，通过改变流程和系统以及参与可显著改善数据质量的活动，识别和倡导提高数据质量的机会。数据质量管理专注于以下目标：

根据数据消费者的需求，开发一种受管理的方法，使数据适合要求。

定义数据质量控制的标准和规范，并作为整个生命周期的一部分。

定义实施&测量&监控和报告数据质量水平的过程。

数据质量管理应遵循以下的原则：

重要性。数据质量管理应关注对企业及其客户最重要的数据，改进的优先顺序应根据数据的重要性以及数据不正确的风险水平。

全生命周期。数据质量管理硬覆盖从创建或采购直至处置的数据全生命周期。

预防。数据质量方案重点应放在预防数据错误和降低数据可用性的情形上。

根因修正。提高数据质量不只是纠错，还需要针对其特点优化其流程和系统。

治理。数据治理活动必须支持高质量数据的开发，数据质量规划活动必须支持和维持受治理的数据环境。

标准驱动。数据生命周期中的所有利益相关方都会对数据质量有要求，尽量以可标准的方式进行表达和定义。

客观测量和透明度。数据质量水平需要得到客观、一致的测量。应该与利益相关方一同讨论和分享测量过程和测量方法，因为他们是质量的裁决者。

嵌入业务流程。业务流程所有者对通过流程生成的数据质量负责，他们必须在其流程中实施数据质量标准。

系统强制执行。系统所有者必须让系统强制执行数据质量要求。

1.3基本概念

数据质量：数据质量既指高质量数据相关特征，也指用户衡量或改进数据质量的过程。如果数据质量满足数据消费者的需求，那就是高质量；反之，就是低质量。因此，数据质量取决于使用数据的场景和数据消费者的需求。数据质量管理的挑战之一是，与数据质量相关的期望并不总是已知的，数据消费者通常不清楚自己对数据质量的期望。

关键数据：大多数组织都有大量的数据，但并非所有的数据都有同等的重要性。数据质量管理的一个原则就是将重点集中在对客户最重要的数据上。关键数据通常包含监管报告、财务报告、商业政策、持续经营、商业战略（尤其是差异化竞争战略）。

昱珩的工业落地视角

设备状态码填错、产量手工录入偏差、BOM 版本不一致，都会直接影响排产和成本。昱珩基于 DAMA 数据质量管理框架，帮助企业定义数据质量规则、监控异常、闭环整改，把『脏数据』拦在决策之前。