数据流水线编排指南

混乱的 cron 脚本与脆弱的 DAG

当数据任务依赖 cron 硬跑时，错序失败、隐式共享状态和缺乏重试机制常常导致整条链路崩溃。一个 PythonOperator 里塞满几百行逻辑，任务间靠共享文件隐式耦合，一旦上游抖动，下游全部遭殃。这种“面条式”代码不仅难以维护，更无法保证数据的准确性与时效性。

核心原则与可靠性设计

该技能将你视为数据流水线架构师，通过以下原则重构编排：

• 单一职责与显式依赖：每个任务只做一件事，依赖关系必须在 DAG 中显式声明，杜绝隐式状态共享。数据通过 中间表 或 对象存储 传递，而非依赖内存。
• 重试与幂等：设置重试次数与退避策略以应对瞬时故障。确保同一输入重跑结果一致（幂等），从而安全支持重试与回填。
• 增量与调度：利用 水位线 或时间戳实现增量计算，避免全量重算。显式指定时区，回填（backfill）时使用参数化执行日期。
• 监控与告警：失败或超时必须通知到人，关键链路设置 SLA 时限监控，拒绝静默失败。

适用边界与护栏

• 避免反模式：切勿在单个 Operator 中编写全链路逻辑，不要依赖共享文件耦合任务，缺失重试机制会导致一次抖动引发全链失败。
• 资源与安全：按任务估值设置 CPU/内存 上限以防雪崩。密钥必须通过连接或变量管理，严禁硬编码在 DAG 中。生产环境配置应以编排工具官方运维文档为准。