ETL 数据处理管道设计与自动化

要解决什么问题

业务数据往往散落在数据库、REST API 和各类 SaaS 里，而分析仓库（如 BigQuery、Snowflake）需要稳定、可重复的入仓流程。手写脚本容易在增量抽取、关联与聚合、失败重跑和数据质量校验上踩坑，运维也难以从单一 DAG 看清整条链路的健康状况。

技能如何协助设计与落地

本技能围绕经典 ETL（Extract–Transform–Load） 流程组织内容，可按模块推进：

• Source Connectors：数据库连接与 API 源的配置思路
• Transformation Layer：常见清洗转换、聚合规则与 Join 设计
• Load Strategies：面向 BigQuery、Snowflake 的加载策略选择
• Pipeline Orchestration：DAG 定义、错误处理与重试边界
• Data Quality：校验规则、质量指标与看板思路
• Monitoring & Alerting：管道指标与告警配置

文档中还归纳了工程实践：增量加载、幂等（可安全重跑）、按日期分区、上线前用样本数据测试，以及用 Git 版本管理管道变更。

适用边界与注意点

技能提供的是架构与步骤层面的参考，不会替你自动安装依赖、改系统权限或创建持久化调度任务。涉及向外部系统写入、部署或删除时，应先明确目标与影响并取得确认；数据库与 API 凭据仅用于你指定的官方服务，不应在对话中回显或转发到无关地址。命令与示例代码默认供你审阅后自行执行。