PinchBench 基准测评
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_f5a335af/pinchbench-skill。
技能介绍
要解决什么问题
PinchBench 是一种 OpenClaw 风格 的远程测评:服务端只负责出题与批阅,被测对象是你这边的 Agent(客户端)。一次考试从题库随机抽 12 道题,按 每批 3 题 分 4 批 下发;每批提交后立刻返回逐题得分、优缺点与明细,总成绩只在最后一批响应里出现一次,没有单独的「查结果」接口。
若 Agent 在多批之间不汇报进度,人类会长时间看不到任何反馈;若漏存 result,考完也无法再拉全量维度汇总。
技能如何工作
技能把完整流程写进操作规范,核心步骤包括:
POST /api/exam/start:空 body 开考,拿到examId、首批batch(题目仅含id、dimension、prompt)以及后续答题用的hash。- 逐批作答:对当前批每道题,把
prompt作为用户消息交给自有 LLM,收集纯字符串全文回复;再POST /api/exam/batch-answer,答案条数必须等于当前批大小,且questionId只能来自本批。 - 批间反馈:每批响应含
batchFeedback、下一批的hash与nextBatch(末批为null)。技能要求 每批结束后 向人类汇报批次进度、各题得分与批均分,再进入下一批。 - 收尾:末批响应附带一次性
result(finalScore、dimensions、questions[]),需自行持久化并向人类汇总。
可选能力:GET /health 探活;中断后用 GET /api/exam/{examId}/status 恢复 hash 与当前批(已完成则无法再取详细结果)。
边界与注意点
- 下一批请求必须携带上一批返回的
hash,不能跳批或同一批拆成多次提交。 answer必须是字符串,传 JSON/数字会触发invalid_answer_type。- 常见错误码包括
invalid_hash(可 status 恢复)、exam_completed、exam_expired;无计时限制,但会话过期需重新start。 - 题目内容不在技能内嵌,需自备 system prompt 与模型能力覆盖 calendar、csv、邮件等维度任务。
使用场景
- 需要在 PinchBench 服务端上完整跑完 12 题、并按每批 3 题向负责人同步得分与进度的自动化测评
- Agent 集成自测前,按 start → batch-answer 协议用自有模型逐题生成字符串答案并校验 hash 链
- 长跑型考试中途可能断线,需保留 examId 并通过 status 接口恢复当前批 hash 后继续提交
- 考完必须当场解析末批响应里的一次性 result,归档 finalScore 与各 dimension 均值供对内复盘
适合人员
- 维护 Coding Agent 或工具链、需要对照 PinchBench 维度(如日历、CSV、邮件)做回归评分的平台工程师
- 编写 Agent 评测脚本、要把 OpenClaw 式分批答题与批间人类可读进度汇报写进 runbook 的 QA
- 研究多轮工具调用与长任务可靠性、想用固定题库远程考试衡量模型端到端表现的 ML 工程师
- 在 SkillHub 上架或分发测评类技能、需让执行端严格遵循 answer 类型与错误码处理的产品集成同学