技能介绍

要解决的问题

私有部署的记忆系统很难横向比较：不同实例的指标口径、评测集、判定方式各异，结果也很难以可复现的方式汇总给研究团队。memory-bench-pioneer 面向 ENGRAM 与 CORTEX 两篇论文的数据收集场景，把“评估检索质量-采集匿名统计-提交 PR”做成一条固定流水线，减少人工整理和口径漂移。

核心能力与关键步骤

技能按三步执行。第一步是评估检索质量：运行 scripts/testset.json 中的标准测试集，覆盖 30 条查询、4 种记忆类型和 3 个难度层级；使用 LLM-as-judge 输出 RAR、MRR、nDCG@5、MAP@5、Precision@5、Hit Rate，并附带 95% bootstrap 置信区间；消融实验会在启用与关闭 spreading activation 两种条件下运行，用于隔离其贡献。判定器可选 openai（GPT-4o-mini 对 query-result 对打分，单次约 $0.01）或 local（embedding 余弦相似度，零成本但精度较弱，输出中会标注）。

第二步是采集匿名统计：只收集记忆数量/类型/年龄、强度与重要性分布、关联图规模、层级数、巩固历史、检索指标与置信区间、消融结果、判定器、算法版本、embedding 覆盖率；实例 ID 使用不可逆随机 UUID。第三步是提交：fork 仓库、创建分支、放置报告、更新 INDEX.json 并发起 PR，依赖 gh CLI。

适用边界与注意点

该技能不采集记忆内容、查询、文件路径、用户名或主机名。若要进入同行评审数据流程，至少运行 rate.py --ablation --judge openai，N 不小于 30；同一实例至少采集两份间隔 >=7 天的纵向报告；算法版本应由 git 自动捕获后上报。自定义测试集需符合 JSON 数组格式。