UPskill 轨迹评估工坊

要解决的问题

把 Agent 在生产里跑通的那几次成功对话直接固化成技能，容易踩两个坑：一是技能没有经过系统评估就上线，换一个模型、换一个任务分布，行为直接漂移；二是评估不跨模型，只在单一模型上验过的技能，很难判断哪些能力是模型自带的、哪些是技能真正教会的。本技能的核心思路是：先从成功轨迹中生成技能，再在多个模型上基准测试，最后才决定是否进入可重复的生产工作流。

核心能力

• 从轨迹到技能：以一次成功执行（trace）为输入，抽取可复用的操作序列与约束，生成一个新技能，而不是手写一堆 if-else 规则。
• Python API 调用：通过 upskill 的 Python 接口把技能创建、加载流程嵌进现有流水线，适合需要细粒度控制的场景。
• CLI 快速验证：uvx upskill 可以在不改动项目环境的前提下跑一遍流程，适合前期探索和对比不同轨迹产出的技能质量。

工作步骤

1. 准备一条或多条已验证成功的轨迹作为原料；失败的轨迹没有参考价值。
2. 调用 API 或 CLI 触发技能生成，产出可被 Agent 加载的技能包。
3. 在多个候选模型上对同一技能跑相同任务集，对比成功率与行为差异。
4. 只有跨模型表现稳定、且确实复现了轨迹能力的技能，才允许写入生产工作流。

适用边界

• 依赖上游实现质量：技能的抽取逻辑来自 Hugging Face 的 upskill 仓库，轨迹格式必须与上游约定一致。
• 评估需要多模型预算：跨模型基准是核心价值，只跑一个模型等于退化成普通单测。
• 不是万能的编排器：它解决的是技能生成与评估，不负责任务调度、重试和监控，这些仍需要外部工作流配合。
• 轨迹噪声敏感：源轨迹里的无关步骤会被一并学习，预处理比直接喂原始 trace 更重要。