OpenClaw 编码代理基准测试

在模型换代前，先给代理做一次回归

OpenClaw 编码代理的表现不只取决于模型，还取决于整条工具调用链路。一次看似无害的变更——换模型、改工具链、轮换凭证——都可能让原本能跑通的任务突然失败，而这类退化往往要到生产任务里才暴露出来。

它如何工作

• 在真实任务套件上运行代理，而不是用预设问答，因此结果可重复、可对比。
• 在模型或工具链变更上线前建立对照基线，把回归挡在部署之前。
• 覆盖 工具使用 这类基础能力：模型能否以正确的参数调用正确的工具。
• 基于 PinchBench 代码库的检出运行，任务集与上游保持一致。

适用边界与注意点

• 需要运行中的 OpenClaw 实例、Python 3.10+、uv 以及模型提供商凭证。
• 模型 ID 必须携带提供商前缀，如 openrouter/、anthropic/；OpenRouter 是默认的路由提供商。
• 基准反映的是任务套件上的表现，不等于生产环境的全部复杂度。