Agent Skills
返回列表
🤖

MemoryBench 记忆基准集成

AI Agent 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/supermemoryai-skills。

技能介绍

要解决什么问题

自研对话记忆、RAG 上下文或检索层之后,最难的不是「能跑通」,而是缺少可复现的对比数据:同一套 LoCoMo / LongMemEval / ConvoMem 题集下,你的实现和 Supermemory、Mem0、Zep 在准确率、检索延迟上差多少,往往只能靠手工接 API、自己写脚本,流程长且容易漏配置。

技能如何工作

从项目根目录唤起技能后,流程基本是自动化的一条龙:

  • 发现:用 Explore 类分析你指定的记忆代码路径,梳理初始化、ingest、搜索接口与环境变量需求
  • 生成与注册:按 MemoryBench 的 Provider 接口写出 memorybench/src/providers/{name}/ 适配层,并改 provider.ts、providers/index.ts、config.ts
  • 环境:克隆 supermemoryai/memorybench 到 ./memorybench,用 bun 装依赖,写 .env.local(含评测用 OpenAI/Anthropic 与对照方密钥)
  • 校验与跑分:先单题冒烟,再按你选的 Small / Medium / Full 题量跑完整基准,输出各 Provider 的准确率、平均搜索延迟与失败样本指引

技能会 upfront 问清:Provider 命名、代码位置、数据集、对照对象(可多选 filesystem / rag 基线)、测试规模。

适用边界与注意点

  • 必须在自有业务仓库根执行,不能把当前工作目录设在已克隆的 memorybench 里;分析路径多用相对路径(如 ../src/lib/memory)
  • 对照 Supermemory / Mem0 / Zep 时需要对应服务的 API Key;仅做基线时可只选无需外部 API 的 Filesystem 或 RAG
  • 摄入失败、搜索无结果、答案格式不符时,往往需要按 Data Formats 调转换逻辑或自定义 prompts.ts,文档中的 Debugging Reference 值得对照

使用场景

  • 在客服助手仓库里用 LoCoMo 数据集,把自研多会话记忆与 Mem0、Zep 跑同一套准确率对比
  • RAG 知识库团队选定 LongMemEval,需要在发版前用 Medium 规模验证新检索层的延迟与答对率
  • 对话机器人项目在 ConvoMem 上对比自研 context 引擎与 Supermemory,决定是否继续自维护存储层
  • 已有 memory 包位于 `packages/memory`,想自动生成 Provider 适配并完成单题校验再跑完整 benchmark

适合人员

  • 维护 AI 客服助手的后端工程师,需要在技术选型会上用统一题集说明自研记忆相对 Mem0 的差距
  • 负责 RAG 检索重构的工程师,每次改分片或重排逻辑都要在 LongMemEval 上留下可复现分数
  • 创业公司里同时写 Agent 记忆层与业务逻辑的全栈,希望少写胶水脚本就能把 memorybench 接进现有仓库
  • 开源记忆中间件作者,想给贡献者提供与 Supermemory、Zep 对齐的标准评测路径