Agent Skills
返回列表
🤖

Apache Airflow MCP

AI Agent 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，将 @user_3c6cb52e/apache-airflow-mcp 安装到 AI 助手中。

技能介绍

解决什么问题

围绕 Airflow 搭建调度与部署环境时，常见的坑集中在三处：依赖版本不受约束，升级后行为漂移；本地、容器、Kubernetes 等部署形态切换时配置不一致；以及把 Airflow 用在不适合的场景，比如 DAG 结构每次运行都大幅变化。

这个技能如何工作

核心能力：把 Airflow 3.2.0 的安装、部署与工作流入门整理成可跟随的步骤，涵盖：

  • 用 pip 安装时锁定版本号，并说明 apache-airflow[postgres,google] 这类 extras 在依赖管理上的取舍
  • 容器化部署路径，包括 docker-compose、Kubernetes Helm Charts 与 docker swarm
  • DAG 编写的基本思路：明确工作单元与依赖关系，让任务之间的连续性可被调度器理解

关键步骤：

  1. 确认 Python 与 Kubernetes 版本满足上游支持矩阵
  2. 按环境选择 pip 或容器路径，并保留上游 PyPI 与镜像仓库作为核对来源
  3. 从官方文档入手，学习 DAG 建模与调度语义

适用边界与注意点

  • Airflow 最适合结构静态、变化缓慢的工作流；如果每次运行的任务结构差异很大，更应评估 Prefect、Dagster 等替代方案
  • 上游文档持续演进，本技能整理的安装与部署细节需要对照 airflow.apache.org/docs/ 的最新说明复核
  • 本技能不改变 Airflow 本身的架构，复杂的调度、重试与回填策略仍需在项目内自行沉淀

使用场景

  • 在使用 Python 做数据项目时，需要按文档锁定 Airflow 3.2.0 版本并选择 postgres、google 等组件，建立可复现的本地运行环境。
  • 在团队要上线调度服务时，需要参考技能整理的容器路径，在 Kubernetes、Helm Charts 或 docker-compose 中部署 Airflow。
  • 在处理报表汇总、ETL 等结构变化缓慢的工作流时，需要按技能说明编写 DAG，明确任务单元与依赖关系。
  • 在为新工作流选型时，需要评估 Airflow 是否适合静态 DAG，并与其他同类调度项目做对比判断。

适合人员

  • Python 工程师：希望按约束安装 Airflow 并管理依赖版本，避免环境漂移。
  • 平台工程师：需要用 Kubernetes 或 docker-compose 部署 Airflow 服务并处理容器化配置。
  • 数据工程师：负责编写和调度 DAG，关注任务依赖、调度语义与工作流连续性。
  • 技术负责人：在立项阶段评估 Airflow 是否适合当前工作流形态，并确认部署与维护成本。