dbt模型血缘分析器

要解决的痛点

dbt项目在迭代中常出现模型间依赖混乱、跨表关联关系难以追溯的问题。手动梳理多层嵌套的模型引用不仅耗时，还易遗漏间接依赖，导致数据血缘断层、问题排查效率低下。尤其在团队协作场景下，缺乏统一的血缘视图会直接影响数据质量监控和变更影响分析。

核心能力与工作逻辑

• 解析项目工件：深度读取dbt Core生成的manifest.json文件，提取模型间的depends_on关系，结合目录工件（如target/目录下的中间文件）补充上下文信息，确保依赖关系完整。
• 融合运行元数据：通过调用dbt Cloud API v2获取模型的运行历史、编译时间等动态信息，将静态的manifest结构与实际运行行为关联，构建更具参考价值的血缘图。
• 构建血缘可视化：基于解析出的依赖关系，自动生成包含模型层级、数据流向的血缘图，支持快速定位上游依赖和下游影响范围。

适用边界与注意点

• 需确保dbt项目已完成完整编译，manifest.json存在且包含所有目标环境的模型定义，否则可能导致部分依赖关系缺失。
• 依赖dbt Cloud API v2时需具备有效的API密钥和足够的权限，若项目未使用dbt Cloud，则仅能解析本地manifest信息，无法获取运行元数据。
• 复杂宏逻辑或动态生成的依赖关系可能存在解析偏差，需结合实际项目结构进行验证。
• 不替代dbt项目的测试和文档功能，仅聚焦于依赖关系和运行元数据的可视化分析。