dbt 数据转换编排器

要解决什么问题

SQL 数据转换项目里，模型之间的依赖关系往往靠口头约定或零散文档维护。上游表结构一旦变更，下游哪些模型会受影响、要不要重跑，通常得靠人肉排查。增量构建的参数设置和数据质量测试的编写也散落在各处，很难保持一致。

技能如何工作

这个编排器把 dbt Core 和 dbt Cloud API 的工作流纳入统一管理入口：

• 模型血缘：解析项目内的依赖关系，某个模型变更时能定位受影响的下游链路。
• 增量构建：管理 incremental 模型的构建策略，避免全量重跑带来的资源浪费。
• 数据质量测试：编写并执行 tests，覆盖唯一性、完整性、异常值等常见约束。
• Great Expectations 集成：将数据质量校验延伸到更复杂的规则集，适合对数据可信度有更高要求的场景。

工作流程上，先通过 dbt parse 或 Cloud API 拉取项目结构，再根据血缘关系确定构建顺序，最后执行测试并汇总结果。

适用边界

这个技能聚焦于 dbt 生态内的转换编排，不涉及数据摄取或 BI 层可视化。它需要项目已配置好 profiles.yml，调用 Cloud API 时需要有效的 API Key。增量构建的效果取决于模型本身的增量逻辑是否正确，技能不负责修正模型定义里的错误。