Inspect AI 可重复评估与评分追踪

要解决的问题

模型和代理评估如果只靠临时聊天、人工看输出和凭感觉判断，会出现样本不统一、评分口径漂移、失败原因难以回溯等问题。这个技能面向需要把模型或代理放在同一套任务上做基准式评估的场景：先定义任务、数据集和评分方式，再运行评估套件，最后检查带评分的追踪信息，而不是把几次对话当成结论。

能力与关键步骤

核心能力是把评估组织成可重复的 suite：用 inspect-ai 承载 prompt engineering、工具调用、多轮对话和模型评分等内置组件；用预置评估或自定义任务定义对目标模型/代理发起 benchmark 式运行；运行后查看 scored traces，定位是输入构造、工具交互、多轮状态还是评分标准出了问题。可用的关键步骤包括：定义评测数据与任务边界；选择或编写评分逻辑；对模型或代理执行评估套件；检查评分追踪与失败样例；按证据迭代 prompt、工具或评分规则。Inspect AI 还提供 200 多个可运行的预置评估，并支持通过扩展适配新的 elicitation 与 scoring 场景。

适用边界与注意点

它不替代数据标注或业务上线决策，也不能在缺少模型供应商凭证、评测数据或任务定义时凭空产生结果。代理类任务可能需要额外沙箱依赖；评估结果的可信度取决于数据代表性和评分器质量。如果要改 TypeScript/React 前端，需要单独处理 web UI submodule；只做 Python 侧工作可以跳过这部分。