LLM 回归报告分析器

先讲具体问题

模型迭代后，整体均值改善并不代表所有维度都在变好。你可能看到某版本平均分上升，但安全类用例或关键任务切片悄悄回退；也可能因为评估采样、评分标准或基础设施波动，把随机噪声当成真实回归。这类问题很难通过聚合百分比直接发现，需要回到用例级数据做配对分析。

技能如何工作

LLM 回归报告分析器 聚焦成对用例结果，帮助定位真实回归并给出决策依据。核心流程包括：

• 验证可比性：核对数据集、评分规则、裁判模型、采样方式、模型设置和流量条件是否一致。
• 计算增量：按指标和关键切片统计绝对与相对变化，区分真实波动与噪声。
• 检查配对：逐对比较同一用例在新旧版本的结果，标记胜负反转、按任务/语言/长度/工具/风险聚类失败。
• 分离来源：区分随机方差、评估漂移、基础设施错误与模型行为变化。
• 应用门禁：对安全和关键任务指标设置硬门禁，权重平均前先判断是否通过。
• 资源观测：纳入延迟、重试率、token 用量和单次成功成本。
• 给出决策：基于证据建议放行、灰度、修复重测或回滚，并列出后续必做测试。

适用边界与注意点

该技能依赖成对用例级结果；若只有聚合指标，无法推断显著性。分析时需要明确区分评估器漂移、基础设施异常和模型自身行为变化，避免把环境问题误判为模型回归。输出会包含数据质量警告、指标增量、最差切片、代表性失败 ID、置信度限制和决策依据，不会把关键回归藏在整体均值背后。