多智能体 MLOps 机器学习流水线
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/rmyndharis-antigravity-skills-machine-learning-ops-ml-pipeline。
技能介绍
要解决什么问题
把机器学习系统推到生产,往往不是缺一段训练脚本,而是数据接入、特征、实验追踪、发布、扩缩容和漂移监控各自割裂,交接时规格对不齐,也很难复现某次上线的数据与模型版本。这个技能面向「为具体业务目标设计并落地完整 ML 流水线」:用 $ARGUMENTS 承载需求,在多 Agent 分工下按阶段推进,而不是堆工具清单。
技能如何工作
编排思路是 分阶段协调:上一阶段的产出作为下一阶段的输入,角色按领域拆分。
- 阶段 1(数据与需求):
data-engineer负责数据源审计、Schema 校验(如 Pydantic / Great Expectations)、DVC 或 lakeFS 等数据版本化,以及质量门禁与存储分层;data-scientist在数据架构之上定义特征管道、特征仓 schema(Feast / Tecton)、模型指标与实验设计。 - 阶段 2(训练开发):
ml-engineer实现可模块化训练、超参搜索(Optuna / Ray Tune)、分布式训练,并接入 MLflow / W&B 与模型注册晋升流程;python-pro做生产化重构、性能优化与单元 / 集成 / 模型质量测试。 - 阶段 3(部署与服务):
mlops-engineer设计 REST/gRPC 服务、批与流式推理、蓝绿 / 金丝雀发布与 CI/CD;kubernetes-architect补充 Kubeflow 训练调度、GPU 配额、KServe / Seldon 式 serving 与 HPA/KEDA 等 K8s 细节。 - 阶段 4(监控与迭代):
observability-engineer覆盖预测质量、漂移检测(KS、PSI 等)、Prometheus/Grafana 可观测性与自动再训练触发。
可通过配置项选定 experiment_tracking、feature_store、serving_platform、orchestration 等栈,使同一套阶段逻辑适配不同云与部署形态(实时 / 批 / 流 / 混合)。
适用边界
任务若与 多 Agent MLOps 流水线编排 无关,或需要的领域完全在该技能范围外,不应使用。它提供的是分阶段交付物、最佳实践与可执行步骤,不会在无关场景下替代专用领域工具或一次性脚本方案。
使用场景
- 新业务要用 Feast 特征仓和 MLflow 做实验,从原始库表一路设计到可晋升的模型注册流程
- 训练代码已在笔记本里跑通,需要拆成 K8s 上 Kubeflow 作业并接 KServe 做在线推理
- 上线后要对特征分布做 PSI/KS 漂移检测,并定义何时自动触发再训练
- 多团队协作时要把数据工程师的质量门禁输出交给数据科学家写清特征与评估门槛
适合人员
- 负责特征平台与离线/在线一致性、要在本技能框架里定 Feast schema 的 ML 平台工程师
- 要把 Horovod/PyTorch DDP 训练接到 MLflow 注册并设计 dev→staging→prod 晋升的 ML 工程师
- 需在 EKS/GKE 上为推理配 HPA、金丝雀与 ArgoCD GitOps 的 MLOps / 平台 SRE
- 从客户业务描述出发、要把 $ARGUMENTS 拆成数据管道与实验成功标准的解决方案架构师