技能介绍

为什么需要系统化的 LLM 评估

把 LLM 接进产品后，提示词微调、换模型或 RAG 改检索 都会改变线上行为，但单靠「感觉更好」无法在团队里复现、也无法在上线前发现回归。更麻烦的是：翻译用 BLEU、摘要用 ROUGE、客服要用相关性/安全性——单一指标往往和业务目标错位，样本一少结论还不可信。

技能如何组织评估工作

本技能把评估拆成三条可并行推进的线，并给出可落地的步骤与验证方式：

自动化指标：文本生成（BLEU、ROUGE、METEOR、BERTScore、困惑度）、分类（准确率、F1、混淆矩阵、AUC-ROC）、RAG 检索（MRR、NDCG、Precision@K / Recall@K）。
人工评估：在准确性、连贯性、相关性、流畅度、安全性、有用性等维度上按标注指南打分，并关注评分者间一致性。
LLM 作为评委：用更强模型做逐点评分、成对比较，或参考/无参考评判，适合难以写死规则的开放生成任务。

配套思路还包括 A/B 测试 与统计检验、回归测试（变更前后对比）、基准测试与基线跟踪；资源侧有指标说明、人工标注实践、基准与 CI/CD 集成指南，以及评估框架与示例数据集、自动化运行脚本等参考实现路径。

适用边界与常见坑

任务与 LLM 评估无关、或需要完全超出文档范围的领域/工具时，不必硬套本技能。实践中要避免：只优化一个指标、样本量过小、在训练数据上测（数据污染）、忽略方差、以及指标与业务目标不一致。更稳妥的做法是多指标 + 代表性数据 + 基线对比，自动化结果用人工抽检校验，并对失败样例做错误分析。