Agent Skills
返回列表
🤖

LLM 轨迹细粒度验证

AI Agent 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_d0deb03a/llm-as-a-verifier。

技能介绍

要解决什么问题

多轨迹 Agent(例如 SWE-Bench、Terminal-Bench)往往在 Pass@1 与 测试时扩展(Best-of-N) 之间缺一条可靠的打分链路:单点 LLM 评分噪声大,全量 round-robin 比较又是 O(N²),在线跑批时还难以对「没希望」的轨迹尽早收手。

技能如何工作

本技能围绕 LLM-as-a-Verifier 框架,把验证做成可复用的三条主线:

  • select:在 N 条候选轨迹里做 Best-of-N,依赖 Probabilistic Pivot Tournament (PPT),用 Ring Pass + pivot 比较把排序复杂度压到 O(Nk)
  • compare / track:用模型输出 token 的 logprob 分布 做细粒度奖励估计,而不是一次性的总分;ProgressTracker 对每一步打分,支持 早停 低分轨迹
  • 自定义标准:在 criteria/your_task.md 里写任务相关的验证 rubric,并可传入图片作为验证上下文

Bradley-Terry 聚合把 pairwise 比较结果归一成可解释的最优轨迹选择,适合离线给已完成轨迹打分,也适合在线盯住正在跑的 Agent。

适用边界与注意点

  • 后端必须能返回 token-level logprob(如 DeepSeek、Gemini 2.5 Flash、经 vLLM 暴露的兼容接口);没有 logprob,细粒度奖励这条主线会打折。
  • n_evaluations 越多越稳,成本近似线性增长;PPT 的 pivots 一般 2~3 是精度与开销的折中。
  • 进度追踪场景下,verifier 只能看到截至当前步的历史,不能偷看未来步,否则早停与在线评估会失真。

使用场景

  • SWE-Bench 类任务一次采样多条补丁轨迹,要用 verifier 在合并前选出最可能通过测试的那条
  • Terminal-Bench 上跑多轮 shell 命令轨迹,在线追踪每步分数并在低于阈值时早停废轨迹
  • RL 或排行榜场景:对任意 Agent 行为轨迹批量离线打分,产出可比较的奖励信号
  • 测试时扩展实验:同一 prompt 生成 N 条解,用 PPT 做 Best-of-N 而非只靠 Pass@1

适合人员

  • 维护 coding-agent 基准流水线、需要在多轨迹里稳定选出过测补丁的 ML 工程师
  • 做终端/工具调用 Agent 的同学,想在长轨迹执行中按步打分并尽早砍掉失败分支
  • 研究测试时扩展或自验证(同一模型生成+评判)、要复现论文里 verifier 流程的研究员
  • 自建 Agent 平台、要为第三方轨迹定义 `criteria/*.md` 并对接 logprob 后端的平台开发者