ML流水线

要解决的问题

当模型从 notebook 里的一次性实验走向团队协作时，通常会撞上三堵墙：训练过程不可复现，参数和指标散落在各处；训练、评估、部署之间没有明确的阶段边界，全靠人工串联；模型上线后缺乏版本管理与回滚手段，出了问题只能重新训练。这个技能要解决的就是这三个问题——把 ML 工作流拆成可追踪、可编排、可回滚的流水线。

核心能力

技能围绕四个能力展开：

• 实验追踪：用 MLflow 或 W&B 登记参数、指标与模型产物，保证每次训练都有完整记录
• DAG 编排：用 Kubeflow 或 Airflow 定义训练、评估、部署各阶段之间的依赖关系与重试策略；数据阶段支持构建特征管道
• 部署管理：通过模型注册中心管理版本，支持回滚
• 工件输出：产出结构化的 MlPipelineSpec，字段包括 stages、orchestrator、tracking、notes，可交给下游 devops-engineer 消费

工作方式

技能按五步推进：

1. 明确阶段：划分数据、训练、评估、部署
2. 登记追踪：记录参数、指标、产物
3. 编排 DAG：定义依赖与重试
4. 管理部署：处理模型注册、版本与回滚
5. 输出工件：返回 MlPipelineSpec

输入可以是自然语言描述的需求与约束，也可以是已有的 MlPipelineSpec 做二次优化。输出包含两部分：完整的结构化工件，以及带质量自检的自然语言摘要，指出最该改的 2-3 点。

适用边界

需要注意：这个技能不负责模型算法选型，fine-tuning 调优应交给 fine-tuning-expert，RAG 架构设计交给 rag-architect；也不处理芯片级加速优化。它关注的是流水线本身的构建与追踪，而非模型内部的算法改进。