数据管理知识库

什么是 EtLT:轻转换 + 重转换的混合架构

What is EtLT

本文以一个生活化类比讲清 EtLT,约 1000 字。

一、传统 ETL:转换在前

Extract 抽取原始数据;Transform 在独立引擎做清洗、格式化、聚合、关联,这是最核心也最耗时的步骤;Load 加载可直接使用的成品数据。

特点:进入目标系统的就是成品数据,适合目标系统算力有限、对一致性要求极高、业务逻辑稳定的场景。

二、现代 ELT:加载在后

Extract 抽取与 ETL 一致;Load 几乎原样、快速地把原始数据入仓(通常是云数仓或数据湖);Transform 在目标系统内部利用强算力完成。

特点:先保有原始数据再按需转换,目标系统既是仓库也是厨房。

三、混合 EtLT:两次转换

E 抽取;t(小写)轻量预处理:脱敏、格式标准化、过滤无效记录、简单字段映射或重命名;L 加载;T(大写)入仓后做复杂业务转换:多表 JOIN、复杂聚合、宽表与维度模型构建。

优势:发挥云数仓算力、保留原始数据可重算、开发协作更顺、管道更简洁健壮。

四、赣南脐橙类比

E 采摘脐橙=抽取;t 简单分拣去烂果去枝叶=轻清洗;L 打包发货=加载;T 手剥/切瓣/榨汁/做蛋糕=按需求深度转换。

启示:数据团队应像朴实的果农,专注提供新鲜、干净、可靠的「数据原料」,信任业务方在拥有强工具的厨房里自由创造数据产品。

对工厂而言,EtLT 意味着先把设备、工艺原始数据做轻量清洗后入湖,再让工艺专家用 SQL 灵活建模——既保灵活又降管道复杂度。昱珩在产线数据集成中即采用这一务实模式。

联系昱珩团队