Agent Skills
返回列表
🤖

数据流水线编排指南

AI Agent 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @kunlungrowth/kunlun-data-pipeline-orchestration-guide。

技能介绍

要解决什么问题

数据流水线从采集、清洗到调度上线,常见痛点是:PR 没有评审标准、编排方案只堆组件不写取舍、任务失败只能靠猜日志、Airflow/Dagster/K8s Job 选型各说各话、上下游 API 契约不明确。本技能不替你跑集群或接付费平台,而是在对话里用固定结构产出可落地的文档与清单。

技能如何工作

听到触发词会进入对应能力,输入你的 diff/需求/报错/场景 即可:

  • 代码评审:对编排脚本、DAG 定义、数据质量校验逻辑的 PR,输出带 阻断/建议/可选 分级的检查清单。
  • 技术方案设计:在给定 需求 + 约束(吞吐、延迟、幂等、回滚)下,产出 背景/目标/选型/风险 方案骨架。
  • 调试排错:根据 报错 + 上下文,给出 定位树、最小复现、修复验证 步骤,避免未复现就改代码。
  • 架构权衡:按 场景与规模 对比批流一体、编排引擎、存储与调度方式,列出利弊与成本。
  • API 设计:围绕 资源与操作 定 RESTful 契约、字段与错误码,减少联调扯皮。
  • 工程规范:针对具体 语言/框架 给清单与反模式,约束可维护性与可观测性。

内置 代码评审 与 线上排错 两套工作流:先意图与正确性,再安全与可维护性;排错侧强调 稳定复现 → 隔离变量 → 证据 → 假设验证 → 回归复盘。

适用边界

评审结论仅为参考,合并与上线决策由负责人承担;不涉及真实密钥与凭证(只给脱敏示例);不鼓励绕过鉴权或未授权访问。若结果不够贴场景,在输入里补充人群、SLA、数据量级与现有技术栈即可收窄输出。

使用场景

  • 新上线的 Airflow DAG 在 code review 前需要按正确性、幂等与可观测性逐项对照清单
  • 编排任务夜间批量失败,手头只有堆栈与调度日志,要整理最小复现与隔离环境的步骤
  • 在固定 QPS 与回滚要求下,要在两个编排引擎之间写清背景、选型理由与风险
  • 上下游数据服务要定 ingest/query 接口的字段命名、错误码与版本兼容策略

适合人员

  • 负责数据平台 PR 合并的后端工程师,希望评审意见带阻断级理由而非纯风格挑刺
  • 写数据编排 RFC 的技术负责人,需要在候选方案间写清利弊、适用规模与回滚路径
  • on-call 的数据/DevOps 工程师,线上任务失败时要先复现再改 DAG 或 worker 配置
  • 独立开发者自建小规模 ETL,想把 REST 契约与工程反模式清单直接套进自己的仓库