ETL 数据管道设计与代码生成

管道设计的常见痛点

数据管道编写中常遇到这些问题：需求模糊导致反复调整架构、从零拼接 extractor/transformer/loader 逻辑、调度依赖与质量检查脱节，生成的代码还常留占位符需手动修补。

技能如何工作

核心能力

• 以数据源、目标平台与转换规则为输入，生成端到端管道设计
• 为每个源生成继承自 BaseExtractor 的具体抽取器，每个目标生成继承自 BaseLoader 的具体加载器
• 内置可组合的质量检查框架，覆盖 schema 校验、数据量异常、空值率等维度
• 自动生成 Airflow DAG 与 pipeline.yaml 配置文件，并配置告警阈值
• 所有生成代码不包含占位符，可直接运行

关键步骤

1. 需求收集：若用户需求不明确，会针对性询问数据源类型（数据库/API/文件/流）、目标平台（数仓/湖/数据库）、转换逻辑、 freshness SLA 及合规要求
2. 架构设计：梳理每个源的连接方式、 schema、数据量，定义目标平台的分区与聚类策略，映射字段映射、聚合、去重等转换逻辑
3. 设计确认：生成代码前会先与用户核对架构、调度策略与质量门禁
4. 代码生成：按 references/project-structure.md 的目录规范生成抽取、转换、加载代码，以及调度配置与测试用例
5. 规范输出：最后生成 data-pipeline-spec.md，整合所有设计决策与文件引用

适用边界与注意点

• 生成的管道默认按幂等性设计，支持安全重跑；增量管道需配合 watermark/checkpoint 机制
• 不硬编码凭据，推荐使用环境变量或密钥管理器
• 涉及外部写入（如发布、删除、部署）时，会先展示影响范围并等待用户确认
• 转换逻辑优先使用 SQL 实现，复杂逻辑（如 SCD 处理、衍生字段计算）用 Python 编写
• 生成的代码默认作为参考，需用户明确要求后才会执行