知识库质量测评
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_f243eda0/kb-quality-eval-skill。
技能介绍
要解决什么问题
接手一套 RAG 知识库时,「随便问几个问题看着还行」往往掩盖了检索漏召、切分截断、超范围幻觉等分层问题;问题出在内容、索引、生成还是调用方式,也很难用一句话说清楚,更谈不上驱动具体修复。本技能把测评定义成可复现的黑盒工程:用结构化用例与探针留痕,把未达标项归因到内容层 / 检索层 / 生成层 / 接口层,并用闭卷基线对照「查库相对模型裸答」的真实增益,最终交付落盘的量化报告。
技能如何工作
执行顺序固定为 PHASE 1 → 6,通道在 PHASE 1 探测失败会直接输出阻断报告。前半段完成输入契约、先于任何查库的闭卷基线、MCP 或环境内检索的接入与接口形态判定(对话式 / 检索式 / 混合),并做覆盖度摸底。PHASE 2 设计 ≥10 条测试集(T1 专名、T2 单跳事实、T3 多跳综合、T4 邻近与跨域拒答、T5 同问异表等),且每条在查询前预登记锚点。PHASE 3 逐条执行并保留 ≤300 字的原文摘录;对话式接口在未达标时可用 P1~P4 探针区分引用造假与召回措辞依赖。PHASE 4~5 做归因树判定与八维加权评分,报告通过写文件写入 知识库测评报告/{知识库名称}_测评_{时间戳}.md。
适用边界与注意点
测评强依赖 P0 铁律:无原文留痕的用例不计分、事后补写的锚点作废、必须含超范围负向用例、报告须工具写入确认后才算交付。接口形态不同,D/F 等维度口径会切换(检索式无法追问时用片段与来源字段替代 P1/P2)。本地未发现可调用入口或 schema 不完整时,应阻断而非猜测工具名或参数强行调用。
使用场景
- 企业文档库改版上线前,需要用专名直击与覆盖度表核对「概要声称 vs 实际入库」是否一致
- 更换 embedding 或切块策略后,用 T3 清单/流程类用例验证 chunk 拼接是否仍完整
- 通过 Cursor MCP 接入的内部知识库,需先探测接口形态再适配探针与 D/F 维度判分口径
- 业务方提供 1~3 个真实工单问题,要求用闭卷对照表说明查库相对裸模是否有显著增益
适合人员
- 负责 RAG 流水线发布的后端工程师,需要在发版门禁里附上可复核的分层缺陷报告
- 对接业务知识库的质量工程师,要把「检索一般」改成可修复归因(索引缺专名 vs 切分截断)
- 在 Cursor 里维护 MCP 知识库入口的平台同学,需落地配置合并、探测与阻断报告而非口头结论
- 知识库产品 Owner,在错答代价高的风险偏好下强制 T4 双负向与硬负例(错版本/错地区)验收