LLM 评测集设计器

当评测集变成“刷榜工具”，LLM 落地的最后一道防线就失守了

很多团队做LLM评测时，容易陷入“跑个高分模型”的执念：用公开数据集拼评测集，盯着MMLU、GSM8K这类基准分做选型，结果模型在评测里表现亮眼，一上线遇到真实用户的复杂请求、跨语言混合场景，或是依赖工具调用的失败场景，直接暴露短板。问题出在评测集的设计逻辑——不是围绕“模型能不能帮业务做对决策”来设计，而是围绕“模型能不能在某个榜单上拿高分”来堆砌样本。

从“决策目标”出发的评测集设计逻辑

这个技能的核心思路是让评测集服务于真实决策，而非指标虚荣。具体拆解为几个关键步骤：

1. 先定义决策和最低可接受结果：明确评测要支持的业务决策（比如“客服机器人能否准确识别退款诉求并触发流程”），以及对应的最低可接受标准（比如“退款诉求识别准确率≥95%”）。
2. 采样真实分布的任务样本：从频率（高频/低频）、难度（简单/复杂）、领域（客服/技术/金融）、语言（单语言/混合）、长度（短文本/长文档）、风险（低风险/高风险）六个维度，采集脱敏后的生产场景任务样本，避免和线上分布脱节。
3. 覆盖全场景的边界案例：必须包含常规任务、边界条件（如极短请求/超长上下文）、对抗样本（如诱导越权/恶意提示）、拒绝场景（如触碰合规红线）、畸形输入（如乱码/语法错误）、工具调用失败（如API超时/参数错误）六类案例，确保模型在极端场景下的表现可控。
4. 提前定义可观测的期望结果和打分规则：在运行候选模型前，明确每个案例的可观测输出（如“退款流程触发”/“合规拒绝”），以及具体的打分标准（如“完全正确得1分，部分正确得0.5分”），避免事后拍脑袋定分。
5. 分离确定性检查和专家判断：客观题（如格式是否正确）用确定性规则检查，主观题（如回答质量）由专家标注，同时测量标注员的一致性，避免主观标注的偏差。
6. 保留隐藏保留集防调优过度：单独保留一部分样本作为隐藏测试集，防止在模型调优或提示词迭代过程中，整个测试集被过拟合，导致评测结果失真。
7. 追踪数据全生命周期风险：记录数据集版本、来源、用户授权、脱敏记录、重复样本和数据污染风险（如样本被加入训练集），确保评测集的可追溯性和合规性。

适用边界与注意点

这个技能更适合已经有明确业务决策目标的团队，它不提供生产数据的自动脱敏实现，需要用户自行完成数据脱敏和授权流程。另外，它不替代模型训练过程，而是作为模型选型和上线前的最后一道质量闸门，需要结合业务实际场景持续维护，避免评测集和线上分布脱节。