Agent Skills
返回列表
DataOps 数据管道自动化

DataOps 数据管道自动化

开发编程 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_69009747/dataops-pipeline-automation。

技能介绍

手工跑数为什么撑不住生产

数据团队常见痛点是：定时脚本散落在 cron 里、转换 SQL 没有版本约定、上线前靠人工 spot check。一旦表变多、依赖变复杂，漏跑、重复增量、质量回归很难在 PR 阶段被拦住。

技能如何把三件事串成一条链

本技能按 DataOps 思路，把职责拆到三个成熟组件上，而不是再写一套自研调度框架。

  • 编排：用 Apache Airflow 定义 DAG，管上下游依赖、失败重试与条件/动态任务（例如按租户拆任务）。
  • 转换：用 dbt 做分层建模（staging → intermediate → marts），重点讲增量模型、unique_key、分区，以及 dbt docs 血缘。
  • 质量：用 Great Expectations 建期望套件与 Checkpoint，把校验挂进 CI/CD，在合并前当质量门禁。

文档里还给了生产 Checklist（告警、脱敏、backfill 标准化）和常见问题对照表，例如 catchup=False 与 start_date、is_incremental() 与重复数据、GE 全表扫描过慢时的抽检策略。

边界与前提

你需要已有或可搭建 Airflow、dbt、Great Expectations 的运行环境；技能讲的是集成模式与工程习惯，不会替代你对业务 SQL 与表语义的设计。多租户动态 DAG、增量键与分区策略仍要按实际数仓（Snowflake、BigQuery、Spark 等）核对语法与成本。

使用场景

  • 每日 ETL 任务链依赖多、失败需重试并走邮件或钉钉告警时，用 Airflow DAG 定义上下游与调度策略。
  • 大事实表全量刷新太慢，要在 dbt 里做增量模型，配置 `unique_key` 并检查 `is_incremental()` 避免重复行。
  • 合并数据模型 PR 前，用 Great Expectations Checkpoint 对关键表跑期望校验，不通过则阻断合入。
  • SaaS 按租户分批跑数，在 Airflow 里用动态任务生成替代为每个租户单独维护一份 DAG。

适合人员

  • 数据平台工程师：要把 cron 脚本收口成可观测管道，需要 DAG 依赖、失败重试与告警配置范例。
  • Analytics Engineer：维护 staging 到 marts 的 dbt 分层，关心增量刷数、血缘文档与生产 Checklist。
  • 负责数据发布流水线的工程师：想把 Great Expectations 期望套件接进 CI/CD，在 PR 阶段做质量门禁。
  • 接手遗留跑数脚本的数据 Tech Lead：要对照文档补 backfill 流程、敏感字段脱敏与调度常见问题排查。