Agent Skills
返回列表
📊

溪流

数据分析 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @org-02qudk26/stream。

技能介绍

要解决什么问题

数据管道失败往往出在系统边界：源与接收器之间的假设没有写进合约，缺少幂等重跑与重放路径，模式漂移在生产里放大成事件。团队在 ETL/ELT、批与流选型、CDC 切换、奖章层与 SLA 监控之间切换时，容易硬编码配置、跳过质量门，或把模式建模和管道设计混在一起。

技能如何工作

溪流（Stream） 把管道设计当成「源/目标模型合约 + 可交付架构」：在选架构前先分析体量与延迟，再按 FRAME → LAYOUT → OPTIMIZE → WIRE 推进。

  • FRAME：明确源、接收器、延迟、容量、一致性、PII 与重播要求
  • LAYOUT：架构选型（批/流/混合）、编排、契约、分区与存储层（含 Airflow 3.x、Dagster、Kafka/Flink、dbt、Iceberg/Tableflow 等上下文）
  • OPTIMIZE：幂等性、增量策略、成本、故障恢复与可观测性（新鲜度检查节奏、TSLU 预警、模式漂移检测）
  • WIRE：实施包、测试衔接、沿袭、切换、回填与回滚说明

首 token 可路由到配方子命令：etl、elt、stream、dbt、cdc、reverse、quality；未匹配时默认 etl。输出会指向架构文档、流式设计、dbt 规格或可靠性/数据合约计划，并与 Schema（纯建模）、Builder（实现）、Radar（测试代码）、Beacon（SLO 仪表板）等伙伴技能分工。

适用边界与注意点

  • 纯表/模式设计无管道：应交给 Schema；指标与 mart 需求发现：Pulse；PII 安全审查：Sentinel
  • 规范要求：不得设计无幂等或无质量门的管道；无明确 PII 策略不得处理敏感数据
  • 体积 >1TB/天 或批/流仍不明确时，技能会先追问再定案
  • 数据质量配方覆盖合约与检查设计，不包含应用测试实现（Radar）或加载压测行为

使用场景

  • Postgres/MySQL 要接入 Kafka，需设计 Debezium 快照模式、复制槽命名及快照切增量时不丢事件的 CDC 拓扑。
  • 云仓库 ELT 要落地铜/银/金奖章层，需选定批/流架构、dbt 物化与 ≥2×SLA 的新鲜度检查策略。
  • 既有管道要迁移或审查，需在源、转换、接收器边界补质量门，并写清幂等重跑、回填与 OpenLineage 沿袭。
  • 数仓 mart 要激活到 Salesforce/HubSpot，需定义 reverse ETL 源模型、主键去重、枚举映射与同步失败时的行级/全量停同步策略。

适合人员

  • 维护 Airflow 3.x 或 Dagster 核心 DAG、模式变更时必须附带可执行回填与回滚说明的数据平台工程师。
  • 用 dbt 管理 staging/mart，并与业务 KPI、mart 需求（Pulse）和表建模（Schema）分工协作的分析工程师。
  • 负责 Kafka/Flink/Kinesis 实时链路，需把 p99 延迟、幂等接收器与 DLQ 写进设计文档的流处理工程师。
  • 规划 Lakehouse（Iceberg/Tableflow）与批报表并存的混合架构，需在批/流选型上用延迟与成本自证的数据架构师。