Airflow DAG 管道编排最佳实践

要解决的问题

Airflow 生产环境的可靠性问题很少出在单个 Operator 上，更多是 DAG 设计与运维策略导致的：任务不可重跑、依赖链放大故障、传感器占满 Worker、重试策略缺失。该技能将架构模式沉淀为可执行的检查与示例，帮助工程师在写代码前把边界条件想清楚。

技能如何工作

• 设计原则：围绕幂等、原子、增量、可观测四项原则组织 DAG，使重试与回填行为可控。
• 结构与依赖：给出任务依赖的组织方式，避免跨 DAG 耦合与长链阻塞。
• Operator 与 Sensor：提供自定义 Operator、Sensor 的实现思路，并处理执行资源与等待策略（如 mode='reschedule'、设置 timeout）。
• 测试策略：覆盖本地单元测试与集成测试，验证任务在失败与重试下的行为。
• 生产部署：指导将 DAG 从本地迁移到生产，包括部署策略与失败运行的调试路径。
• 最佳实践：明确建议使用 TaskFlow API、避免 depends_on_past=True、用 {{ ds }} 宏而非硬编码日期、保持任务无状态、避免在 DAG 文件中放置重逻辑。
• 分层文档：核心概念提供导航，细节示例在 references/details.md 中按需查阅。

适用边界与注意点

• 本技能专注于模式与策略，不包含 Airflow 安装与集群运维的自动化执行。
• 不会自动安装依赖、修改系统权限、创建持久化任务或执行外部下载内容。
• 涉及发送、发布、删除、付款、部署或其他外部写入时，会先展示目标与影响，取得明确确认后才会进行。
• 凭据仅用于用户指定的对应官方服务，不回显、不记录，也不转发到无关地址。
• 命令与代码默认作为参考；只有在明确要求且目标范围清晰时才执行。