MemoryBench 记忆基准集成
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/supermemoryai-skills。
技能介绍
要解决什么问题
自研对话记忆、RAG 上下文或检索层之后,最难的不是「能跑通」,而是缺少可复现的对比数据:同一套 LoCoMo / LongMemEval / ConvoMem 题集下,你的实现和 Supermemory、Mem0、Zep 在准确率、检索延迟上差多少,往往只能靠手工接 API、自己写脚本,流程长且容易漏配置。
技能如何工作
从项目根目录唤起技能后,流程基本是自动化的一条龙:
- 发现:用 Explore 类分析你指定的记忆代码路径,梳理初始化、
ingest、搜索接口与环境变量需求 - 生成与注册:按 MemoryBench 的 Provider 接口写出
memorybench/src/providers/{name}/适配层,并改provider.ts、providers/index.ts、config.ts - 环境:克隆 supermemoryai/memorybench 到
./memorybench,用bun装依赖,写.env.local(含评测用 OpenAI/Anthropic 与对照方密钥) - 校验与跑分:先单题冒烟,再按你选的 Small / Medium / Full 题量跑完整基准,输出各 Provider 的准确率、平均搜索延迟与失败样本指引
技能会 upfront 问清:Provider 命名、代码位置、数据集、对照对象(可多选 filesystem / rag 基线)、测试规模。
适用边界与注意点
- 必须在自有业务仓库根执行,不能把当前工作目录设在已克隆的
memorybench里;分析路径多用相对路径(如../src/lib/memory) - 对照 Supermemory / Mem0 / Zep 时需要对应服务的 API Key;仅做基线时可只选无需外部 API 的 Filesystem 或 RAG
- 摄入失败、搜索无结果、答案格式不符时,往往需要按 Data Formats 调转换逻辑或自定义
prompts.ts,文档中的 Debugging Reference 值得对照
使用场景
- 在客服助手仓库里用 LoCoMo 数据集,把自研多会话记忆与 Mem0、Zep 跑同一套准确率对比
- RAG 知识库团队选定 LongMemEval,需要在发版前用 Medium 规模验证新检索层的延迟与答对率
- 对话机器人项目在 ConvoMem 上对比自研 context 引擎与 Supermemory,决定是否继续自维护存储层
- 已有 memory 包位于 `packages/memory`,想自动生成 Provider 适配并完成单题校验再跑完整 benchmark
适合人员
- 维护 AI 客服助手的后端工程师,需要在技术选型会上用统一题集说明自研记忆相对 Mem0 的差距
- 负责 RAG 检索重构的工程师,每次改分片或重排逻辑都要在 LongMemEval 上留下可复现分数
- 创业公司里同时写 Agent 记忆层与业务逻辑的全栈,希望少写胶水脚本就能把 memorybench 接进现有仓库
- 开源记忆中间件作者,想给贡献者提供与 Supermemory、Zep 对齐的标准评测路径