LLM 评委设计与偏差缓解

问题：LLM 当评委，判得准吗

把 LLM 输出质量交给另一个 LLM 打分，看起来省事，实际踩坑率极高：同一模型给自家输出打分明显偏宽；把候选换个位置，胜负就翻转；长回答、话多的回答无论质量如何都拿高分；自信满满的胡说比谦虚的正确答案得分更高。这类系统性偏差不会让评估「偶尔不准」，而是让结论稳定地错向一边——比人工评审的随机误差危险得多。

这个技能做什么

它把 LLM-as-Judge 当作一族方法而非单一技巧，核心是选对方法并缓解已知偏差：

• 按有无真值选方法：事实准确性、指令遵循这类客观标准 → 直接打分；语气、风格、说服力这类主观偏好 → 成对比较，后者通常更贴合人类偏好。
• 缓解五类系统偏差：位置偏差（交换位置评两遍再投票）、长度偏差（显式忽略长度 / 长度归一化）、自我增强（生成与评估换模型）、啰嗦（用 rubric 惩罚无关细节）、权威（要求引用证据 + 事实核查层）。
• 指标匹配任务结构：二分类看召回/精确/F1 + Cohen's kappa；有序量表看 Spearman's rho；成对偏好看一致率与置信校准。优先看系统性分歧模式，而不是绝对一致率。
• 量表与 rubric 设计：1-3 认知负担最低，1-5 是最佳平衡，1-10 只在每级有详细 rubric 时可用；打分 prompt 要求「先给证据再给分」。

输出与边界

最终产出结构化工件 EvalPlan（方法、标准与权重、偏差缓解措施、置信校准策略）+ 自然语言说明，可直接交给下游 skill 落地。

需要注意边界：确定性检查、回归套件、生产质量门属于 evaluation；自主循环治理、锁定 rubric 属于 harness-engineering；评估工具的 API 契约属于 tool-design。本技能只做评委设计与偏差缓解。