数据管理知识库

数据仓库基本概念:建模、分层与常见表

Data Warehouse Basics

本文梳理数仓建模思想、分层与表分类,约 1300 字。

一、两大思想领袖与建模思想

Inmon 把数据仓库定义为「面向主题的、集成的、随时间变化的、相对稳定的支持管理决策的数据集合」,用规范化关系模型存储。

Kimball 把数据仓库定义为「为查询和分析定制的交易数据的副本」,方法常称为多维模型(维度建模)。

二者方法不同,核心思想却相似:数据来源于其他系统、以提升价值方式整合、面向更快更全面分析、提供更可靠集成的数据。

二、维度建模与星型、雪花模型

几乎所有统计分析都可归结为「实体 + 维度 & 指标」,维度建模为 OLAP 量身定制,是数仓用于数据分析的精髓。

星型模型以事实表为中心、维度直接相连,结构简单;雪花模型在维度上再扩展维度。实践中倾向星型以减少关联、便于维护。

维度可无限演变,需做层级管理:常用一级维度冗余到主表,不常用的二级以上维度按需关联,在便捷性与维护难度间找平衡。

三、分主题与分层

分主题:按业务流程(风控、获客)、功能应用(公众号、支付)或运转部门(客户、财务、市场)划分,方法不是对立的,常相互交叉。

分层:粗略分采集层 ODS、模型层 DWD、应用层 APP,中间可扩展 STG、DWS、DM。目的:空间换时间、流水线职责清晰、公共沉淀复用。

主题内数据单一流向,主题间可适当跨层(如 A 主题 APP 层标签表常作为 B 主题 DWD 层维表)。

四、数仓中的几种表

维度表:存储业务状态与实体属性,通常为码值解释表(码表),是聚合统计基础。

事务事实表:记录随流程产生的动作,一旦产生不再变化(日志表、流水表)。

状态拉链表:记录实体生命周期的状态变更时点,追加式存入,数据量少于快照表。

快照表:记录某时刻瞬时状态,为追溯历史留底稿;还有周期快照与累计快照事实表。维度变化需记录最新快照表 + 拉链表,兼容存储与便利。

工业数仓要面向「生产运营」主题建模:设备、工艺、质量、能耗各成主题,ODS 接实时数据、DWD 建统一模型、APP 出决策看板。昱珩帮您把混乱的产线数据建成可复用的资产。

联系昱珩团队