Bananalyzer 浏览器代理评测套件

解决什么问题

浏览器代理的能力评测长期存在一个痛点：很多团队用一次性演示或交互式测试来判断代理水平，这类测试受页面状态、网络抖动和人工干预影响，结果很难复现。当你想比较两个代理的真实差异时，会发现昨天能跑通的任务今天突然失败，无法判断是代理退化还是环境变化。

更关键的是，这类测试往往只在演示用的网站上进行，无法反映代理在陌生站点上的泛化能力。一个在特定页面上表现优异的代理，换到结构类似但细节不同的网站时，可能完全失效，而这种失效在一次性测试中很难提前发现。

它如何工作

Bananalyzer 的核心思路是用可重复的任务快照替代交互式演示。它针对静态网页任务快照进行评估，而不是通过实时浏览或人工引导的方式测试代理。

具体来说，它包含几个关键组件：

• 动态构建 pytest 测试套件：CLI 工具会根据用户定义的代理和示例任务，自动生成一组 pytest 测试用例，确保每次运行的任务条件完全一致
• AgentRunner 接口：提供统一的代理运行入口，暴露一个示例和一个要使用的 Playwright 浏览器上下文，方便接入不同类型的代理实现
• 静态任务快照：所有评估都在预先准备好的网页快照上进行，避免了实时网络请求带来的不确定性，保证评估的可重复性

运行时，CLI 会依次对每个代理运行这套测试，通过 pytest 的输出判断代理是否完成指定任务，比如表单填写、信息提取或按钮点击等。

适用边界

目前这个方案还有几个明显的限制：

• 仅支持单个网站：当前的数据集只覆盖单个网站的任务，无法有效评估代理在不同网站结构下的泛化能力
• 任务复杂度有限：暂时不支持需要多步骤完成的复杂任务，评估场景相对简单
• 依赖环境配置：需要提前准备 Python 环境、Playwright 浏览器运行时和自定义的 AgentRunner 实现，有一定接入成本

另外，由于使用静态快照，它无法评估代理在动态页面或需要实时交互场景下的表现。如果你的任务依赖实时数据更新或用户行为模拟，这个工具可能不适合。