EvalScope 代理与工作流评测

你要解决的问题

改完一版提示词、换了一个推理后端，模型在评测集上到底变好了还是变差了？凭体感和零星几条 case 下结论，很容易把偶发波动当成真实提升。代理场景更复杂：一次任务经过多轮 ReAct、工具调用、沙箱执行，最终分数相同不代表执行路径一致——失败可能卡在规划、工具选择或环境交互的任何一个环节。

这个技能做什么

围绕 EvalScope 组织一套可复现的评测流程，覆盖 LLM、VLM、RAG 和代理工作流：

• 统一跑通 GSM8K、AIME、IFEval、SWE-bench Agentic、GAIA 等基准，用 DefaultDataAdapter 适配数据集
• Agent Evaluation Mode 在受控的多轮 AgentLoop 中驱动基准，支持可插拔的 strategy（如 function_calling）、工具和 Docker 沙箱
• 完整记录每个样本的 Agent Trace，配合官方 rule-based scorer 输出报告
• 支持通过 MCP server 扩展工具侧能力

关键步骤：先在可控环境里跑基准并留档 trace，再对照报告定位失败样本，最后才动模型权重或提示词。

适用边界与注意点

• 需要 Python 3.10+ 和 evalscope 依赖，托管模型还需准备 API credentials
• GAIA、τ³-bench 等代理基准依赖 Docker 沙箱，CI 环境需要确认容器支持
• 不同 benchmark 的评分口径不同，跨数据集比较分数前先确认 scorer 规则
• 评测集和策略固定后再做模型对比，否则变量不唯一，结论不可靠