ML 流水线创建与管理

要解决什么问题

手工串联「预处理 → 训练 → 评估 → 上线」时，脚本往往散落各处、阶段边界不清，实验难以复现，部署还要再写一套 glue code。本技能把整条 ML 工作流当成可配置的流水线：阶段顺序、组件依赖和数据流由定义文件描述，执行与日志由同一套机制接管。

技能如何工作

1. 定义流水线结构：在 YAML 或 JSON 等配置里声明阶段，常见包括数据预处理、模型训练、模型评估与部署。
2. 组件实现：每个阶段实现为独立、可复用的组件，按配置链接成完整流水线。
3. 执行与依赖：按指定顺序运行组件，处理阶段间数据传递并管理依赖关系。
4. 监控与实验跟踪：提供执行监控、结果记录与实验追踪能力，便于对比多次运行。
5. 部署：训练与评估完成后，可将模型自动化部署到目标服务环境。

使用上你需要同时提供流水线定义文件与各阶段组件的实现（例如独立的 preprocess.py、train.py、evaluate.py 等），技能负责编排与执行，而不是替你实现具体算法。

适用边界

• 更偏向编排与自动化，不替代 TensorFlow、PyTorch、Scikit-learn 等框架本身的训练 API。
• 复杂 DAG、多租户调度或大规模集群资源管理，需在你自己的组件或外围系统中扩展；本技能文档强调灵活适配多种任务与框架，但未内置特定云厂商或 K8s 专有集成。