MiroEval 深度研究代理评测

要解决的问题

深度研究代理通常要完成多轮检索、工具调用、证据整合与长文写作。一次模型升级或工作流改动，可能让检索路径、引用准确性或推理链条中的某一环悄悄退化，但这类退化很难从单一答案指标看出来：

• 事实层面：报告里出现幻觉引用、过期数据，或来源与结论不匹配。
• 质量层面：结构松散、结论缺少支撑，写作与组织达不到交付标准。
• 过程层面：工具调用顺序错误、检索策略退化，或未做充分验证就被判定完成。

只跑一个 0/1 正确率，无法区分「答错了」和「写得漂亮但事实站不住」。

技能如何工作

该技能基于 MiroEval 把评测拆成三个维度，在模型或工作流变更发布前执行基准任务评分：

1. 事实验证：将报告中的事实陈述与来源证据比对，标记无支撑、错误或过时的结论。
2. 报告质量评分：从结构、论证完整性与可读性等角度给最终报告打分。
3. 过程评估：检查代理的检索与工具调用轨迹，而不是只看最终输出。

典型流程：准备 模型结果 JSON 作为输入，配置评判者（judge）与检索服务所需的 API 密钥，在 Python 与 uv 环境下运行基准任务，再按维度汇总分数，定位退化发生在事实、质量还是过程环节。

适用边界与注意点

• 这是一套评测框架，不负责修复代理本身的缺陷，分数反映的是当前配置下的相对表现。
• 评判者模型与检索服务的质量会直接影响评分，密钥与调用成本需自行管理。
• SKILL.md 未能提供基于源代码的安装说明，接入敏感工作流前应查阅上游项目 https://github.com/1991513ccie-png/skills，确认实现与依赖可信。
• 任务集、指标权重与通过阈值需按业务场景自定义，否则横向比较意义有限。