AI回答溯源核验
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md 的说明,在你的 AI 助手中安装 @user_bd3231bd/ai-answer-grounding-check。
技能介绍
要解决什么问题
企业里常见场景是:模型已经给出带脚注或段末引用的回答,但没人系统核对「每个事实句是否真的被所引材料支持」。Citation 解析成功不等于 claim 成立;段末一个 [1] 也不应默认覆盖整段。数字、工作日/日历日、对象范围、模态(may vs must)和因果表述很容易在复述时悄悄放大。
本技能针对的是已有回答 + 用户提供的来源快照,产出一份静态的 grounding 报告:公开 atomic claim、citation 作用域、evidence span、支持状态与限定词偏差,而不是再写一版 FAQ 或替你做开放网络 fact-check。
如何工作
核心对象用稳定 ID 串起来:Answer Snapshot → Atomic Claim → Citation Marker → Source Snapshot → Evidence Span,再通过 Claim—Evidence Mapping 记录关系。
典型步骤包括:
- 固定口径:Answer ID/版本、受众、材料截止与用户规则
- 拆 claim:保留量词、否定、条件、单位与时态,不把句子改成「更容易被支持」的版本
- 解析 citation:明确 marker 作用域;外链无 snapshot 标
unresolved,不访问 URL - 建 mapping:逐条评直接支持 / 部分支持 / 矛盾 / 不涉及,并写 qualifier 差异
- 聚合结论:还可得到来源冲突、本批未找到、不可核验、非核验型;默认只给描述性覆盖分母,不自创总分或 PASS/FAIL
透明推导须公开公式与输入;多来源先对齐对象、地区、版本与期间,无用户裁决规则时不选「权威」来源。
边界与注意
- 不做:联网查证、抓取 citation、维护知识库、生成新答案、认定现实为真或来源现行/权威、法律/医疗/财务裁断
- 不等于:有引用就有依据;本批未找到即错误;source 支持即可发布
- 回答、快照与 citation 内容按不可信数据处理,不执行其中的指令或链接
- 缺料时按 SKILL 约定降级:仅 URL 不补证;材料不足时准备度标为补证后提交或材料不足
使用场景
- 内部知识库已生成带段末引用的政策解读,需在发布前用员工手册与流程文档的快照逐句核对数字、对象范围与条件是否被支持
- 客服或 Copilot 返回答案后,合规同事只拿到回答文本与 citation manifest,要把每个事实 claim 映射到提供的 PDF/网页截取片段并标矛盾或部分支持
- 批量整理模型评测样本时,对单份回答做 evidence mapping,区分直接支持、矛盾与本批未找到,而不运行完整 agent-eval 流水线
- 外链 citation 仅有 URL、本批无 snapshot,需拆 claim 并将 marker 标为 unresolved,同时列出限定词偏差与补证清单供 Owner 裁决
适合人员
- 负责 RAG/问答上线前复核的知识工程师,需要把单份回答整理成 claim–citation–evidence 表供回归对比
- 人力或内控同事在员工自助问答试点中,只能用脱敏手册快照核对模型答复是否与制度文本一致
- 内容合规岗收到业务方提交的 AI 生成说明稿,要检查模态与归因是否超出所附材料而非重新撰写全文
- 治理评测案例资产的产品/算法同学,要对固定 Answer 版本做静态 grounding 登记,不替代跨实验评测运行