E-GRM按需推理

要解决的问题

生成式奖励模型（GRM）用推理链生成评判分数，但现有方案有两个未解的工程痛点：

• CoT 浪费：即使是"1+1=？"级别的简单样本，也会被强制走完整的思维链，延迟高、算力烧在无意义的 token 上。
• 投票粗糙：多数 GRM 用并行采样后"数人头"决定答案，投票只统计频率，不评估推理路径质量——蒙对的低质量路径和高质量路径得票权重一样。

E-GRM 的核心主张是：推理不该是标配，而是按需启用的工具。

核心机制：按需推理的三步流水线

1. 不确定性触发（Consensus Gate）：对每个输入做 M=5 次并行解码，计算答案一致性 Consensus(x) = max(y) Count(y) / M。一致性高（≥0.8）说明问题简单，直接输出快答；一致性低才进入 CoT 深度推理。约 58% 的样本可跳过推理，延迟降至 CoT 模式的约 1/5。

1. 判别式评分器（Discriminative Scoring）：不靠投票，而是对每条推理路径提取特征（长度、步数、关键性词汇），经两层 MLP 输出 [0,1] 质量分，取最高分作为评判。混合损失设计——Huber 保分数回归精度，Hinge 保好路径优胜的相对排序。

1. 两阶段混合训练：50% 短答 + 50% 长答的 SFT 数据配比，让模型同时掌握"快答"和"深想"两种能力，避免只用 CoT 训练导致的短答能力退化；可选 GRPO 偏好优化提供微调增益。

适用边界

• 阈值 τ 是延迟与性能的核心权衡点，默认 0.8 适用于通用场景，但领域分布不同需重新调参。
• Consensus 探针依赖模型自身的输出分布，对极度分布外（OOD）样本的不确定性估计可能失准。
• 判别评分器的特征工程（长度/步数/关键词）在需要细粒度语义判断的任务上可能过于粗糙。