LLM 轨迹细粒度验证
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_d0deb03a/llm-as-a-verifier。
技能介绍
要解决什么问题
多轨迹 Agent(例如 SWE-Bench、Terminal-Bench)往往在 Pass@1 与 测试时扩展(Best-of-N) 之间缺一条可靠的打分链路:单点 LLM 评分噪声大,全量 round-robin 比较又是 O(N²),在线跑批时还难以对「没希望」的轨迹尽早收手。
技能如何工作
本技能围绕 LLM-as-a-Verifier 框架,把验证做成可复用的三条主线:
select:在 N 条候选轨迹里做 Best-of-N,依赖 Probabilistic Pivot Tournament (PPT),用 Ring Pass + pivot 比较把排序复杂度压到 O(Nk)compare/track:用模型输出 token 的 logprob 分布 做细粒度奖励估计,而不是一次性的总分;ProgressTracker对每一步打分,支持 早停 低分轨迹- 自定义标准:在
criteria/your_task.md里写任务相关的验证 rubric,并可传入图片作为验证上下文
Bradley-Terry 聚合把 pairwise 比较结果归一成可解释的最优轨迹选择,适合离线给已完成轨迹打分,也适合在线盯住正在跑的 Agent。
适用边界与注意点
- 后端必须能返回 token-level logprob(如 DeepSeek、Gemini 2.5 Flash、经 vLLM 暴露的兼容接口);没有 logprob,细粒度奖励这条主线会打折。
n_evaluations越多越稳,成本近似线性增长;PPT 的pivots一般 2~3 是精度与开销的折中。- 进度追踪场景下,verifier 只能看到截至当前步的历史,不能偷看未来步,否则早停与在线评估会失真。
使用场景
- SWE-Bench 类任务一次采样多条补丁轨迹,要用 verifier 在合并前选出最可能通过测试的那条
- Terminal-Bench 上跑多轮 shell 命令轨迹,在线追踪每步分数并在低于阈值时早停废轨迹
- RL 或排行榜场景:对任意 Agent 行为轨迹批量离线打分,产出可比较的奖励信号
- 测试时扩展实验:同一 prompt 生成 N 条解,用 PPT 做 Best-of-N 而非只靠 Pass@1
适合人员
- 维护 coding-agent 基准流水线、需要在多轨迹里稳定选出过测补丁的 ML 工程师
- 做终端/工具调用 Agent 的同学,想在长轨迹执行中按步打分并尽早砍掉失败分支
- 研究测试时扩展或自验证(同一模型生成+评判)、要复现论文里 verifier 流程的研究员
- 自建 Agent 平台、要为第三方轨迹定义 `criteria/*.md` 并对接 logprob 后端的平台开发者