（三）数仓人必看！ODS 到 DWS 各层设计规范全解析，含同步/存储/质量核心要点

睁扼妤 · 2025-9-25 15:36:32

《新兴数据湖仓设计与实践手册·数据湖仓建模及模型命名规范（2025年）》 由四篇递进式指南组成，以“模型架构—公共规范—分层规范—命名规范”为主线，系统构建可演进、可治理、可共享的现代数据湖仓。
本文为系列文章第三篇，详细剖析了数仓各层的设计规范，包含同步、存储、质量等核心要点。
最后一篇将在此框架内，依次剖析数仓各层的命名规范，帮助企业用一套方法论完成从数据入湖到价值变现的全链路建设，敬请期待完整版。
1. ODS层设计规范

同步规范：

一个系统源表只允许同步一次；
全量初始化同步和增量同步处理逻辑要清晰；
以统计日期和时间进行分区存储；
目标表字段在源表不存在时要自动填充处理。

表分类与生命周期：

1. ods流水全量表：

不可再生的永久保存；
日志可按留存要求；
按需设置保留特殊日期数据；
按需设置保留特殊月份数据；

2. ods镜像型全量表：

推荐按天存储；
对历史变化进行保留；
最新数据仓储在最大分区；
历史数据按需保留；

3. ods增量数据：

推荐按天存储；
有对应全量表的，建议只保留14天数据；
无对应全量表的，永久保留；

4. ods的etl过程中的临时表：

推荐按需保留；
最多保留7天；
建议用完即删，下次使用再生成；

5. BDSync非去重数据：
通过中间层保留，默认用完即删，不建议保留。
数据质量：

全量表必须配置唯一性字段标识；
对分区空数据进行监控；
对枚举类型字段，进行枚举值变化和分布监控；
ods表数据量级和记录数做环比监控；
ods全表都必须要有注释；

2. 公共维度层设计规范

1) 设计准则

一致性
共维度在不同的物理表中的字段名称、数据类型、数据内容必须保持一致（历史原因不一致，要做好版本控制）
维度的组合与拆分

组合原则：
将维度与关联性强的字段进行组合，一起查询，一起展示，两个维度必须具有天然的关系，如：商品的基本属性和所属品牌。
无相关性：如一些使用频率较小的杂项维度，可以构建一个集合杂项维度的特殊属性。
行为维度：经过计算的度量，但下游当维度处理，例：点击量 0-1000,100-1000等，可以做聚合分类。
拆分与冗余：
针对重要性，业务相关性、源、使用频率等可分为核心表、扩展表。
数据记录较大的维度，可以适当冗余一些子集。

2) 存储及生命周期管理

建议按天分区。
<ol> 3个月内最大访问跨度

姜删懔 · 2025-10-13 00:41:15

懂技术并乐意极积无私分享的人越来越少。珍惜

蒋炸役 · 2025-10-13 23:34:41

东西不错很实用谢谢分享

豌笆 · 7 小时前

感谢分享，学习下。

账号		自动登录	找回密码
密码			立即注册

（三）数仓人必看！ODS 到 DWS 各层设计规范全解析，含同步/存储/质量核心要点

相关帖子

回复

浏览过的版块

签约作者

（三）数仓人必看！ODS 到 DWS 各层设计规范全解析，含同步/存储/质量核心要点

相关帖子

相关推荐

回复

浏览过的版块

签约作者