Agent Skills
返回列表
📊

数据管道架构

数据分析 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/rmyndharis-antigravity-skills-data-engineering-data-pipeline。

技能介绍

要解决什么问题

数据从业务系统流入数仓或数据湖时,团队往往卡在几类重复决策:该用 ETL 还是 ELT、批和流是否要拆成 Lambda/Kappa、表格式选 Delta 还是 Iceberg、失败记录与迟到数据怎么处理。编排、转换、质量校验和成本又各自绑定不同工具栈,文档零散,新人很难把「端到端」串成可运维的方案。

技能如何工作

本技能把助手定位为数据管道架构顾问,按资料中的步骤组织输出,而不是泛泛讲概念。

架构选型:先评估数据源、体量、延迟与下游消费方式,再在 ETL、ELT、Lambda、Kappa、Lakehouse 中选定模式,并标出采集 → 处理 → 存储 → 服务链路上的可观测点。

实现要点:

  • 批采集:增量水位、指数退避重试、Schema 校验与 DLQ、_extracted_at 等元数据
  • 流采集:Kafka 消费语义、事务内 offset 提交、窗口聚合与重放
  • 编排:Airflow 的 Task Group、XCom、SLA 与 execution_date 增量;或 Prefect 的缓存、.submit() 并行与 Artifacts
  • 转换:dbt 分层(staging 增量与去重、marts 维表与业务逻辑)、内置与自定义测试
  • 质量:Great Expectations 表/列级期望与 Checkpoint;dbt tests 与 freshness
  • 存储:Delta/Iceberg 的 ACID、MERGE、时间旅行、压缩与生命周期
  • 运维:CloudWatch/Prometheus/Grafana 指标、分区与文件大小、冷热分层与 Spot/Serverless 等成本策略

产出可按资料收敛为:架构说明与故障恢复、采集/转换/编排代码、dbt 与 DAG 配置、监控告警与运维手册。

适用边界

任务若与数据管道架构无关(例如单纯 BI 报表配色、与管道无关的 ML 特征工程工具选型),不必启用本技能。具体技术栈与约束应通过 $ARGUMENTS 传入;技能给出的是模式与清单,不能替代你对合规、网络隔离与公司标准组件的裁定。

使用场景

  • 新业务要对接多张源表做日增量入湖,需选定水位字段、重试与死信队列策略
  • 流式订单事件要写 Kafka 再聚合到分钟窗口,需明确 exactly-once 与失败重放方案
  • 现有 Airflow DAG 经常 SLA 超时,需用 Task Group 与增量 `execution_date` 重排依赖
  • 数仓 marts 层要加维表与关系测试,并配合 Great Expectations 做入库前校验

适合人员

  • 负责从 RDS/API 拉数到 S3 或对象存储的数据平台工程师,要落地可重试的批采集
  • 维护 Kafka 消费与实时汇总的后端工程师,需把 offset、窗口与 DLQ 写进设计文档
  • 用 dbt 管 staging/marts 的 Analytics Engineer,要补齐增量策略与 schema/freshness 测试
  • FinOps 或平台负责人要在 Delta/Iceberg 上通过分区与生命周期把批处理存储成本压下来