主张可信度评估
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_9a9f0fec/belief-assessor。
技能介绍
要解决什么问题
当用户问「这是真的吗?」「能信吗?」时,代理往往已经搜到多段材料,却缺少一套可复现的收敛方式:证据互相打架怎么标、来源质量差时能不能写 VERIFIED、证据太旧或太稀时置信度该怎么压。Belief Assessor 把「主张 + 证据 + 模型判断」收成带状态的结论,而不是一句含糊的「大概靠谱」。
技能如何工作
触发后默认走 AUTO WORKFLOW(仍只需 1 次 LLM 调用):
- 搜证据(强制):用在线搜索拿到可核对的多源材料。
- 规则层(Python):从证据里抽四条连续信号——
source_reliability、evidence_density、temporal_freshness、provenance_quality。 - LLM 层(代理):按
get_assessment_prompt()对证据回答 6 个布尔问题,得到 JSON。 - 投影层 v2:用
ProjectionConfig(standard/conservative/permissive)施加四类约束——矛盾、溯源、时效、密度;触发时压顶置信度,并用公式(1-Q)×base + min/√n_eff算区间(替代 v1 固定 ±0.15)。 - 聚合输出:
assess_claim_with_response(claim, evidence, llm_response, config?)返回校准后的置信度、状态与veto_reasons。
状态含义:VERIFIED 可引用;CONTESTED 需说明分歧或约束;UNCERTAIN 应明确信息不足。veto_reasons 非空表示置信被刻意封顶,例如 contradiction_capped、provenance_gated、temporal_decayed、density_floor 等。
证据分阶段到达时,可用 assess_incremental 做增量更新;兼容 v1 的 assess_claim(..., llm_func) 会默认走 v2 标准投影。
适用边界与注意点
- 不能替代强制检索:无证据时规则层与投影层都缺少依据,流程第一步必须搜真源。
- 高风险场景优先
ProjectionConfig.conservative(),阈值与封顶策略更严。 - LLM 的 6 个判断是输入之一;若与检索事实不一致,矛盾约束会把结论推向 CONTESTED 或压低置信——解读结果时要对照
veto_reasons,必要时说明「置信被封顶」的原因。
使用场景
- 用户追问某条行业传闻是否属实,代理先检索多站报道,再输出 VERIFIED/CONTESTED 及 veto 原因
- 客服准备对外回复前,需判断用户转发的「产品政策变更」能否作为 VERIFIED 引用
- 投研助手汇总互相矛盾的财报解读,用约束层标 CONTESTED 并说明分歧而非强行站队
- 安全运营写事件通报时,对第三方 CVE 影响说法做多源核对并给出可引用的置信区间
适合人员
- 写合规/风控简报、必须在结论旁标明证据强度与分歧的分析师
- 接「这是真的吗」类追问、需要先搜证再给出可解释状态的对话型 Agent 维护者
- 处理分阶段爆料或滚动更新、需要 incremental 置信演进的舆情监测运营
- 高后果决策场景下默认 conservative 策略、拒绝把低溯源证据标成 VERIFIED 的审核岗