数据管道架构

你在解决什么问题

数据从源系统到分析/服务层，往往要跨 批处理 与 流式 两种节奏：增量怎么拉、失败怎么重试、schema 变了怎么办、成本怎么控。单靠「堆脚本 + Cron」很难在 SLA、数据质量和可观测性上同时站得住脚。

技能如何帮你落地

本技能把角色定位为 数据管道架构专家，按「评估 → 选型 → 实现 → 运维」给出可执行的检查清单与交付物结构：

• 架构模式：在 ETL、ELT、Lambda、Kappa、湖仓一体之间按延迟、数据量与目标系统选型，并画出「采集 → 处理 → 存储 → 服务」链路。
• 采集与编排：批处理侧强调水印增量、schema 校验与死信队列；流式侧强调 Kafka 精确一次、窗口聚合与重放。编排上覆盖 Airflow（Task Group、XCom、SLA）与 Prefect（缓存、并行 .submit()）。
• 转换与存储：用 dbt 做暂存层增量物化与集市层维度模型，配合 Spark；存储侧对比 Delta Lake / Iceberg 的 ACID、merge 与时间旅行，并给出分区与文件大小等成本建议。
• 质量与监控：Great Expectations 与 dbt 测试（unique、relationships、自定义期望），配合 CloudWatch/Prometheus/Grafana 与数据新鲜度告警。

典型交付包括架构说明、DAG/dbt 实现、基础设施清单，以及运维与成本优化指南；成功标准里明确 SLA、质量通过率、自动重试与血缘可追踪等可验收项。

适用边界

任务若与 数据管道架构 无关（例如纯 BI 报表排版、与编排/湖表无关的单点 SQL），不必启用本技能。具体业务参数与 $ARGUMENTS 中的需求需在对话里补充，技能提供的是工程化框架而非替代你们的环境选型决策。