Agent Skills
返回列表
智能体长期记忆评测台

智能体长期记忆评测台

AI Agent 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_8a3569c1/memory-bench。

技能介绍

要解决的问题

多轮对话、跨会话任务里,智能体往往要靠长期记忆接住用户偏好、历史决策和外部事实。你若要对比不同模型、不同记忆架构(RAG、向量库、摘要回写等),缺的不是一句「记得不错」,而是一套可重复的评测口径:同样任务、同样干扰、同样回访窗口,结果才能横向比。

「智能体长期记忆评测台」面向的就是这类需求:把长期记忆当成可度量对象,在可控场景里跑评测,而不是在生产对话里凭感觉猜。

技能如何工作

作为 SkillHub 上的大模型技能(@user_8a3569c1/memory-bench),它把评测台这层能力交给助手:围绕智能体长期记忆,组织问题设计、回放与核对思路,帮助你从「偶尔记得」推进到「哪一类信息、在多长间隔后、以何种提示仍能召回」。

典型用法包括:

  • 明确要测的记忆类型(事实、偏好、工具调用结果、多 hop 依赖等)
  • 设计跨轮次或跨会话的探针问题,并在稍后回合验证是否一致
  • 固定变量(模型版本、记忆模块、上下文预算)后做对照,输出可复述的通过/失败依据

具体脚本与数据以技能包内说明为准;助手侧主要负责按评测台逻辑拆解任务、生成用例与核对清单。

适用边界与注意点

这是评测与基准取向的技能,不是通用「帮用户记笔记」的记忆产品。若你只有单次问答、无跨会话需求,用常规对话评测即可。

评测结论强依赖探针设计与泄露控制(例如同一轮里是否重复提示答案);跨团队对比时,务必把用例与打分规则一并归档,否则数字难以复现。

使用场景

  • 对比两个智能体框架在多会话后能否仍回答用户上周设定的项目约束
  • 为记忆模块改版准备回归集:间隔 N 轮后追问同一事实是否一致
  • 写技术报告前,让助手按评测台结构整理探针用例与打分表草稿
  • 新上线 RAG 记忆链路,需要固定干扰对话后做召回核对清单

适合人员

  • 做 Agent 平台的同学,要在发版前用统一用例验收长期记忆是否退化
  • 研究方向为大模型记忆的研究生,需要可写进论文的评测任务拆分与核对流程
  • 交付企业智能体项目的集成工程师,要向客户说明记忆能力边界并附可复现评测记录
  • 维护开源 Agent 的记忆贡献者,希望把「记得住」变成有明确定义的通过标准