RAG幻觉治理助手

要解决什么问题

上线 RAG 后，业务方最常见的抱怨是“AI 经常胡说”。真正的难点不是没有检索，而是问题出在哪一层：是检索没召回到正确文档，还是召回了但 LLM 没有效利用上下文？销售或交付团队往往只能拿到“回答不准确”的反馈，缺少可执行的诊断路径。本技能面向这些工程现场问题，用可验证的规则替代拍脑袋的调参。

核心能力与工作方式

• 症状归类：判断幻觉属于知识缺失型、检索噪声型、上下文拼接型还是LLM 编造型，并给出 P0–P2 严重度。
• 根因诊断：不只看“答案错了”，而是拆开看 Top-1 准确率、Top-K 噪声率、知识库碎片化程度、上下文窗口利用和温度设置。
• 参数建议：给出相似度阈值、Top-K、混合检索权重、重排序是否值得加的具体建议，而不是通用公式。

使用上支持交互式诊断、快速模式和日志分析模式。输出一份 Markdown 诊断报告，包含五个模块：症状归类、根因诊断、阈值调参建议、架构层建议、立即可执行的 3 步修复。核心规则包括：

• Top-1 定生死：Top-1 错误时，LLM 大概率跟错，优先优化 Top-1 准确率而不是盲目加大 K。
• 知识库质量 > 算法调参：多数幻觉根因是知识源过期、碎片化或格式混乱，不是模型不够强。
• 混合检索不是 50/50：政务场景通常偏 BM25，技术文档偏 Vector，零售居中，权重需按行业基线调。
• 双命中策略有代价：可提升召回率，但延迟会明显上升，延迟敏感场景需谨慎。
• 低置信 ≠ 低质量：0.6–0.7 区间不一定差，必须结合行业基线判断，而不是机械设定转人工阈值。

适用边界

• 不替代知识库治理：脏数据不能靠调参解决，先清洗知识源。
• 不承诺具体指标：不输出“95% 准确率”这类无法验证的数字。
• 不编造日志数据：用户未提供检索日志时，只做症状归类，不做根因分析。
• 不替代人工审核：低置信转人工是非功能建议，不保证转人工后一定正确。
• 不做通用 RAG 教程：不提供架构科普、向量数据库选型或 Embedding 评测，只针对具体输入做诊断。