AgentEvals 代理轨迹与工具决策评分

为什么需要给轨迹打分

当代理完成任务时，只看最终答案往往不够。一个回答可能正确，但中间走了大量弯路、在错误步骤上反复调用工具，或者因为输出格式恰好符合预期而侥幸通过。反过来，最终答案失败也可能只是最后一步格式化出错，而不是推理路径本身有问题。

引入工具调用后，这类问题更加隐蔽：代理需要在每一步决定调用哪个工具、传入什么参数、如何根据返回结果继续推进。一旦决策链出错，后续操作都可能建立在错误假设上，但日志看起来仍然「很忙」。

技能如何工作

这个技能围绕 AgentEvals 展开，核心思路是把评分对象从「最终答案」扩展到「完整轨迹」。它会沿着代理执行的中间路径，检查以下几点：

• 中间步骤是否合理：代理在关键节点上的推理和选择，是否符合任务的实际推进方向。
• 工具调用是否正确：工具名称、参数结构、调用时机是否与任务语义匹配，而不是随意试探。
• 结果达成方式：最终产出是否真正由合理路径达成，而不是只依赖最终答案的表层匹配。

技能支持 Python 和 TypeScript 两种运行时，可配合可选的 LLM judge provider 对轨迹做更细粒度的判断。

适用边界与注意点

AgentEvals 提供的是评分框架，不是现成数据集。它能否给出有意义的分数，取决于输入的轨迹质量：如果代理本身没有输出结构化的执行记录，评分器也只能基于残缺信息做判断。

工具调用正确性的评估带有主观成分，不同任务对「合理路径」的定义并不一致，可能需要针对具体场景调整评判标准。LLM judge provider 属于可选项，其判断结果也受模型本身能力限制。