Agent Skills
返回列表
PinchBench 基准测评

PinchBench 基准测评

教育学习 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_f5a335af/pinchbench-skill。

技能介绍

要解决什么问题

PinchBench 是一种 OpenClaw 风格 的远程测评:服务端只负责出题与批阅,被测对象是你这边的 Agent(客户端)。一次考试从题库随机抽 12 道题,按 每批 3 题 分 4 批 下发;每批提交后立刻返回逐题得分、优缺点与明细,总成绩只在最后一批响应里出现一次,没有单独的「查结果」接口。

若 Agent 在多批之间不汇报进度,人类会长时间看不到任何反馈;若漏存 result,考完也无法再拉全量维度汇总。

技能如何工作

技能把完整流程写进操作规范,核心步骤包括:

  1. POST /api/exam/start:空 body 开考,拿到 examId、首批 batch(题目仅含 id、dimension、prompt)以及后续答题用的 hash。
  2. 逐批作答:对当前批每道题,把 prompt 作为用户消息交给自有 LLM,收集纯字符串全文回复;再 POST /api/exam/batch-answer,答案条数必须等于当前批大小,且 questionId 只能来自本批。
  3. 批间反馈:每批响应含 batchFeedback、下一批的 hash 与 nextBatch(末批为 null)。技能要求 每批结束后 向人类汇报批次进度、各题得分与批均分,再进入下一批。
  4. 收尾:末批响应附带一次性 result(finalScore、dimensions、questions[]),需自行持久化并向人类汇总。

可选能力:GET /health 探活;中断后用 GET /api/exam/{examId}/status 恢复 hash 与当前批(已完成则无法再取详细结果)。

边界与注意点

  • 下一批请求必须携带上一批返回的 hash,不能跳批或同一批拆成多次提交。
  • answer 必须是字符串,传 JSON/数字会触发 invalid_answer_type。
  • 常见错误码包括 invalid_hash(可 status 恢复)、exam_completed、exam_expired;无计时限制,但会话过期需重新 start。
  • 题目内容不在技能内嵌,需自备 system prompt 与模型能力覆盖 calendar、csv、邮件等维度任务。

使用场景

  • 需要在 PinchBench 服务端上完整跑完 12 题、并按每批 3 题向负责人同步得分与进度的自动化测评
  • Agent 集成自测前,按 start → batch-answer 协议用自有模型逐题生成字符串答案并校验 hash 链
  • 长跑型考试中途可能断线,需保留 examId 并通过 status 接口恢复当前批 hash 后继续提交
  • 考完必须当场解析末批响应里的一次性 result,归档 finalScore 与各 dimension 均值供对内复盘

适合人员

  • 维护 Coding Agent 或工具链、需要对照 PinchBench 维度(如日历、CSV、邮件)做回归评分的平台工程师
  • 编写 Agent 评测脚本、要把 OpenClaw 式分批答题与批间人类可读进度汇报写进 runbook 的 QA
  • 研究多轮工具调用与长任务可靠性、想用固定题库远程考试衡量模型端到端表现的 ML 工程师
  • 在 SkillHub 上架或分发测评类技能、需让执行端严格遵循 answer 类型与错误码处理的产品集成同学