Agent Skills
返回列表
🤖

大模型应用评测

AI Agent 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/rmyndharis-antigravity-skills-llm-evaluation。

技能介绍

要解决什么问题

LLM 应用上线后,换模型、改 prompt 或调 RAG 链路时,输出质量往往凭体感判断,难以复现「变好还是变差」。工程上需要的是:可重复的指标、可对比的基线,以及在 CI 里能拦下回归的评测套路。

技能如何工作

本技能按 三类评测 组织实践路径:

  1. 自动指标:文本生成侧有 BLEU、ROUGE、BERTScore、困惑度等;分类有准确率、F1、混淆矩阵;RAG 侧有 MRR、NDCG、Precision@K 等,适合批量、可回归的打分。
  2. 人工评测:在事实准确性、连贯性、相关性、流畅度、安全性等维度写标注指南,并处理评分者一致性(inter-rater agreement)。
  3. LLM-as-Judge:用更强模型做点分、成对比较、有/无参考答案评判,补足纯指标测不出的语义与有用性。

配套思路还包括 A/B 测试 与统计检验、回归测试 接入流水线、基准数据集与 evaluate-model.py 类自动化跑分。最佳实践强调多指标、代表性数据、基线对比、版本化留存评测结果,并对失败样本做错误分析。

适用边界与注意点

任务与 LLM 评测无关时不要启用。避免单一指标优化、过小样本、训练集污染测试集,以及指标与业务目标不一致。自动分应与抽样人工校验并用,结论需考虑方差与显著性。

使用场景

  • 换用新基座模型前,用同一批业务问答集跑 BLEU/BERTScore 并与旧模型基线对比
  • Prompt 改版后接入回归套件,在合并请求阶段检测关键场景输出是否劣化
  • 为客服 RAG 链路建立 MRR、Recall@K 评测集,改分块或重排策略时复用同一 harness
  • 上线前对两个回复策略做 A/B 设计,用成对人工或 LLM-as-Judge 比较并按统计检验下结论

适合人员

  • 负责对话/RAG 服务的 ML 工程师,需要在改模型或 prompt 时留下可对比的评测记录
  • 做 LLM 产品的质量工程师,要把回归检测和基线追踪写进发布流程
  • 研究或平台同学,需要为标注团队写维度 Rubric 并核算评分者一致性
  • Applied Scientist 在对比多组 prompt 时,要组合自动指标与抽样人工验真