MemoryBench 记忆与 RAG 基准测试

解决什么问题

构建 AI Agent 时，记忆与检索链路往往是最容易出问题、也最难量化的部分。不同模型供应商的语义召回策略存在差异，RAG 管道中的检索和上下文截断会随检索节点或向量存储方案的更换而波动，如果不把指标固定下来对比，只能靠人工抽检或零散的日志拼凑结果，既无法判断失败来自检索、召回还是生成，也难以在多供应商之间做可持续的横向对比。

核心能力与运行方式

MemoryBench 面向代理记忆与 RAG 系统，提供可重复的基准测试框架。它的核心在于把跨供应商对比和结构化报告打通，让同一套基准可以在不同供应商、数据集、评判模型和检查点之间运行。

• 多供应商对比：使用 bun install 完成依赖安装后，可以直接在不同供应商之间并排运行相同的基准测试，观察不同实现对同一批记忆或检索任务的影响。
• 多维度控制：测试时需要准备至少一个记忆/RAG 供应商的 API_KEY，并配置一个评判模型，让评分模型对运行结果进行判定，而不是只依赖规则或简单匹配。
• 结构化报告：运行结束后，框架会导出运行状态、失败样本和对应指标，方便后续分析失败模式、排查检索或记忆相关的问题。

适用边界与注意点

该工具适合作为代理记忆与 RAG 系统的评估框架，不应把它当作托管服务或自动化调优工具。运行时要明确区分被测供应商和评判模型的角色，如果评判模型配置不当，评分本身可能引入偏差。结果的可重复性取决于所用数据集、评判模型版本和检查点配置，更换这些变量后需要重新运行基准才能得到有效对比。