Doris 数据建模架构师
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_60f50cbb/zlqcppzo。
技能介绍
要解决什么问题
在 Apache Doris 上落地数仓时,常见痛点是:星型、3NF、Data Vault、OneData 多套方法论各说各话,物化视图(MV)刷新策略与分层职责也容易和 BI 口径搅在一起。业务规模在约 200GB、又无固定行业库连接时,更需要一套可复用的四层规范,而不是临时堆表。
技能如何组织建模工作
本技能把 Doris 建模收敛为 ODS → DIM → DWD → DWS(明确废弃 ADS):
- ODS:
Unique Key物理表,CDC 原样镜像,禁止清洗、JOIN 与衍生字段。 - DIM:扁平星型维度 MV,SCD 六类策略(含 Type2 拉链),单 ODS 源优先
ON COMMIT,多源合并用定时刷新。 - DWD:同业务明细事实 MV(事务/周期快照/累积快照/无度量关联表),只保留数字外键,禁止跨业务 JOIN 与 CASE 业务标签。
- DWS:仅 SUM/COUNT 等可加原子指标进 MV;比率、分层、同比、排名一律在 BI 计算,主题层用逻辑 VIEW 做 ID 与名称关联。
方法论落地要点包括:Kimball 星型为 Doris 首选(小维广播 broadcast、DIM 自动刷新 MV);Inmon 3NF 仅作 ETL 中间 CTE;Data Vault 的 Hub/Link/Sat 以定时 MV 承载审计链路。文档还提供标准 DDL 模板、指标三层划分(原子/派生/复合边界)、反模式对照表,以及 200GB 场景下的技术选型决策树与交付物清单(总线矩阵、血缘、MV 时序依赖等)。
适用边界与注意点
技能面向通用、无固定库连接的建模指导;Anchor 锚建模在 Doris 上较少落地,文档仅作选型参考。强制约束包括:MV 底层固定 Duplicate Key、无分区与 lifecycle、全 SQL 用 CTE 且字段需 COMMENT;MV 嵌套时下游刷新周期必须大于上游,高频 CDC 场景应禁用 ON COMMIT 以防任务堆积。
使用场景
- 新业务接入 Doris,需要按 ODS/DIM/DWD/DWS 划分表职责并写清 MV 刷新策略
- 订单域多子表合并为事务事实 MV,需避免跨用户/支付域 JOIN 导致刷新超时
- 用户等级等需历史追溯的维度,要选定 SCD 类型并落地 Type2 拉链 DIM MV
- 上线前核对 DWS 是否只存 SUM/COUNT,客单价与转化率是否已明确由 BI 计算
适合人员
- 负责 Doris 明细层与聚合 MV 设计的数据仓库工程师,需统一 Duplicate Key 与无分区约束
- 制定指标口径的 BI/数据分析师,需区分原子指标与禁止写入 DWS 的复合指标
- 编写 ODS→DWD 映射与 CTE DDL 的 ETL 开发,需处理单源 ON COMMIT 与多源定时刷新
- 多业务线数仓负责人,需在 Kimball 星型与 Data Vault 审计链路之间做 200GB 级选型