Agent Skills
返回列表
💻

Airflow DAG 架构师

开发编程 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md 的指南,将 @user_8ee65e73/airflow-dag-architect 安装到 AI 助手中。

技能介绍

复杂工作流的定义困境

在 Apache Airflow 中,当 DAG 规模扩大时,常出现任务依赖混乱、调度策略不清晰、数据上下游不明确等问题。手动维护这些关系成本高,且容易出错,尤其在需要重跑历史数据时,依赖结构错误会导致级联失败。

技能如何工作

该技能通过以下方式帮助构建 DAG 架构:

  • 解析业务逻辑:将实际的数据管道需求拆解为有向无环图,明确各任务的输入输出与触发条件。
  • 识别依赖关系:自动分析任务间的数据流与执行顺序,避免成环,保证可回溯。
  • 设计调度策略:根据任务类型和资源情况,合理配置 schedule_interval 与 max_active_runs。
  • 输出可读结构:生成结构清晰的 DAG 代码,便于审查和后期维护。

使用示例:当需要构建一个每日定时 ETL 流程时,技能会先列出需执行的步骤(抽取、转换、加载),再为每步设计对应的 operator 或 sensor,最后用合理的依赖连接,生成完整 DAG。

适用边界与注意点

该技能擅长架构设计阶段,但不负责具体代码实现细节,如自定义 Python 函数逻辑或复杂插件集成。使用时仍需结合实际资源配额和集群特性进行调整。同时,对于需要复杂跨 DAG 依赖的场景,建议额外引入 ExternalTaskSensor 等机制。

使用场景

  • 数据工程师需为每日定时 ETL 任务设计清晰的 DAG 结构,串联抽取、转换与加载步骤
  • 算法工程师要分析多个模型训练任务间的依赖关系,构建可重跑且逻辑清晰的工作流
  • 运维工程师在新增监控检查步骤后,需调整现有 DAG 的任务顺序与触发条件,确保流程合理
  • 分析师构建报表生成流程,需明确数据抽取、清洗、汇总各任务的输入输出与调度周期

适合人员

  • 数据工程师:需设计或重构复杂 Apache Airflow DAG,确保任务依赖与调度逻辑清晰
  • 平台工程师:负责维护数据工作流,需优化任务顺序与调度策略以降低失败率
  • 算法工程师:将模型训练与评估流程抽象为 DAG,需要合理的任务编排与重跑机制
  • 运维工程师:在现有 Airflow 环境中添加新任务节点,需明确数据上下游与触发关系