数据管理知识库

数据管理总结

Data Management Summary

本文基于 DAMA 体系资料整理,约 1498 字。

前言

主要内容

数据管理的核心是将数据作为组织的一种资产有效地进行管理,以便更好地交付、控制、保护并提升数据和信息资产的价值。数据只有在使用的过程中才能产生价值,组织管理数据的目的是更好的服务于生产过程,创造业务价值。简而言之,就是让数据更好地发挥更大的价值。如何让数据更好地发挥更大的价值?这是一个很大的命题,整理全文总结为以下几个方面:管理对象、核心流程、管理科目、技术与制度支持。1.数据管理对象

首先需要对数据有一个基本的认识,并根据不同类型数据的特点进行管理。很多同学对数据的一些概念总是感觉模糊,难以梳理清楚(其中不乏从业很久的同学)。在谈数据管理之前,我们需要先对数据的定义以及其常见的应用场景有一个比较清楚的认识。

1.1 数据的分类方式

数据分类的方式有多种多样,可以从数据结构、数据存储地点、数据使用场景、数据产生方式等进行区分。不同的分类方式,其目的是不一样的,在数仓模型开发中,我们可以把数据分为明细数据和汇总数据以应对不同场景的数据统计需求;在数据应用时,根据数据时效性需求我们把数据分为实时数据、准实时数据和非实时数据以应对不同的应用场景。

1.2 数据的应用场景

数据的应用场景是一个比较大的命题,为了更加聚焦和更加契合本文主题,我们在此讲的范围是互联网企业数据中心的数据应用场景。

企业数据的应用场景可以分为内部应用场景和外部应用场景,外部的主要包括监管报送、财务审计、安全审查等,通常为强制性需求(特别是在金融领域);内部数据应用场景主要包括用于企业经营分析、产品改进、数据在线应用等。

2.数据处理核心流程

进行数据管理,我们需要做的另一个事情就是对数据的整个流程需要有一个非常清晰的理解。对数据从哪里来、数据经过何种处理、数据存储在哪里、数据用到了什么地方都必须要有一个非常清晰的认识。

通常情况下,组织的数据从各个业务系统中产生,然后按照不同的方式从各个业务系统中抽取到数据中心(数据仓库、数据湖),并按照数据的产生特定和目标数据使用场景进行特定的处理,处理后的数据按照特定的方式给各个数据需求方提供数据支持。其中数据经历的每个流程都有多种情况,我们需要尽可能深入地了解这些细节点,只有了解这些细节才能更细致的进行数据管理。

3.数据管理核心科目

4.数据管理的技术与制度支持

数据管理是一项富有挑战性的工作,不仅需要有深刻的技术功底也需要跨部门进行推进和协调,因此数据管理需要有深厚的技术储备以及组织制度支持。团队内部需要一个数据管理平台来进行数据全流程的管理和评估,以做到数据质量变化的监控,保证数据管理的正向性;对外需要争取组织高层和数据消费者的支持,很多跨团队合作的业务需要自上而下,最终的数据消费者也是一个非常重要的部分,他们是数据的直接使用者,如果脱离他们的应用,数据价值就是空中楼阁。

思考与总结

数据管理是一门富有深度的学问,不仅涉及到技术层面的问题,而且与组织管理是强相关的。经过全书的学习和思考,总结了以下几条建议,与大家探讨学习。

业务驱动,数据应用价值是一切的起点:

没有应用场景的数据对企业和组织来说是没有价值的(或者说在当下是没有价值的),数据作为支撑类工作,一般难以直接产生价值(以广告和推荐为核心盈利手段的公司除外,且一般会将其核心技术归为算法而不是数据,虽然数据也是其中的核心),这很残酷,但很现实。

组织的业务驱动是数据工作的前提(常见的需求包括业务决策需求、信息安全需求、财务审计需求、精准匹配需求等),我们需要对组织机构的经营策略、数据需求、数据分析目标有非常清晰的了解;只有这样,我们才能清晰地知道数据在企业和组织中的应用场景,以及其产生的价值量大小。

数据管理不是一次性项目,而是持续演进的能力。昱珩愿做您长期的治理伙伴。

联系昱珩团队