数据集成与互操作

本文基于 DAMA-DMBOK 框架整理，约 1407 字。

1. 引言

数据集成和互操作描述数据在不同数据存储、应用程序和组织这三者内部和之间进行移动和整合的相关过程。数据集成是将数据整合成物理的或者虚拟的一致格式，数据互操作是多个系统之间践行通信的能力，数据集成和互操作的解决方案提供了大多数组织所以来的基本数据管理职能。

1.1业务驱动因素

数据集成和互操作的主要目的是为了对数据移动进行有效管理。由于大多数组织都有数以百计的数据库和存储库，因此每个信息技术组织的主要责任就是管理数据在组织内部的存储库与其他组织之间的双向流动过程。其核心的业务驱动因素包括：

提升数据方案解决效率：如果处理不当，移动数据的过程可能会压垮IT资源和能力，并弱化对传统应用程序和数据管理领域需求的支持能力。

降低维护管理成本：在使用多种技术来移动数据时，每种技术都需要特定的开发和维护，这样会造成支撑成本的增加，标准工具应用可以降低维护和人力成本。

1.2目标和原则

数据集成和互操作实践解决方案的实施主要目标是：

及时按数据消费者所需的格式提供数据

将数据物理地或虚拟地合并到数据中心

通过开发共享模型和接口来降低管理解决方案的成本和复杂度

识别有意义的事件（机会和威胁），自动触发警报并采取相应行动

支持商务智能、数据分析、主数据管理以及运营效率的提升

再试试数据集成和互操作时，组织应遵循以下主要原则：

采用企业视角确保未来的可扩展性设计，通过迭代和增量交付实现

平衡本地数据需求与企业数据需求，包括支撑与维护

确保数据集成和互操作设计和活动的可靠性。

1.3基本概念

抽取、转换、加载：数据集成和互操作的核心是数据的抽取、转化和加载（ETL）这一基本过程。无论是在物理状态或是虚拟状态下，批量或者实时的执行ETL都是在应用程序和组织之间数据流动的必要步骤。ETL可以作为定期调度事件执行（批处理），也可以在有新数据或数据更新后执行（实时或事件驱动）。操作型数据往往是实时或者准实时的，而分析或报表所需的数据通常在批处理作业中进行。

抽取过程：包括选择所需的数据并从其源数据中提取，然后，被抽取的数据会在磁盘或内存中的物理数据存储库中进行存储；然后，被抽取的数据会在磁盘或内存中的物理数据存储库中进行存储。

转换过程：是让选定的数据域目标数据库的结构相兼容，常见的转换包括：数据格式转化、数据结构转化、语义转化、消除重复、重新排序等。

加载过程：是在目标系统中物理存储或呈现转换结果。根据所执行的转换、目标系统目的和其预期用途，数据可能需要进一步的处理以便与其他数据集成，或者可能以一种最终形态呈现给消费者。

从ETL到ELT：如果目标系统比源系统或中间应用具有更强的数据转换能力，那么为了提升数据处理的效率可以将数据处理步骤调整为ELT（抽取、加载、转换）。随着大数据技术的不断发展，数据中心处理能力远远超过数据数据源系统，所以ELT逐渐变为现在数据处理的主流方式。

时延：时延是指从源系统生成数据到目标系统可用该数据的时间差。不同的数据处理方式会导致不同程度的数据延迟。批处理的时延可能相对较高，实时数据的时延通常较低。

批处理：要么根据数据使用者的人工请求，要么是按照周期自动触发的数据处理方式。以批处理模式移动的数据代表在给定时间点的全部数据，对时间点后的数据不会进行更新同步。批处理对于在短时间内处理大量数据非常有用，它倾向于数据仓库数据集成解决方案。为了实现快速处理和低延迟，一些数据集成解决方案使用微批处理。

昱珩的工业落地视角

MES、ERP、SCADA、PLC、传感器各自为政，数据集成是工业数字化的必经之路。昱珩提供 ETL/ELT、API 总线、数据中台等集成方案，实现跨系统数据的一致流转，让订单、生产、质量、能耗数据能真正联动起来。