Agent Skills
返回列表
💻

Ragas RAG 质量评估

开发编程 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_3c6cb52e/score-rag-answer-quality-and-retrieval-quality-before-rollout-with-ragas。

技能介绍

问题：RAG 变更后的评估困境

每次修改检索策略、调整 prompt 或更换 embedding 模型后，团队往往依赖几个手动测试用例来判断“效果好像变好了”。这种抽查方式的问题很明显：样本量太小、覆盖场景有限、主观判断偏差大。当系统需要服务成千上万种不同的查询时，少数几个测试用例根本无法代表整体表现，更无法量化改进的幅度。

工作原理：用 Ragas 建立评估流水线

这个技能的核心思路是把主观感受转化为可度量的指标。它利用 Ragas 提供的预构建评估指标，针对 RAG 系统的关键维度进行打分：

  • 答案质量：通过 Aspect Critique 机制，从相关性、忠实度、有害性等多个维度评估生成的答案
  • 检索质量：衡量上下文的精确度、召回率以及语义相关性
  • 端到端评估：将检索和生成串联起来，评估最终用户看到的完整答案

具体来说，你可以定义自己的 DiscreteMetric，指定要评估的任意方面，比如答案是否包含足够的技术细节，然后让 Ragas 自动评分。这比人工逐个检查效率高得多，也更客观。

适用边界与注意事项

这套方案的前置条件比较明确：

  • 需要 Python 环境和 ragas 包
  • 需要模型提供商的 API 凭证
  • 需要准备评估数据集，或至少生成测试用例的输入
  • 需要能够访问目标 RAG 工作流

重要提醒：Ragas 的评估结果仍然依赖底层大模型的判断能力。如果评估模型本身存在偏见或能力不足，评分也会受影响。建议在生产环境中定期校验评估指标的有效性，比如手动抽查一部分高分和低分案例，确认评分是否符合预期。

另外，这套方法更适合对比不同版本的 RAG 系统。如果你只是想快速验证一个改动是否有问题，手动测试可能更快；但如果需要系统性地评估多次迭代的效果，或者向团队证明某个改动确实带来了改进，那么引入自动化评估是值得的。

使用场景

  • RAG 系统迭代检索策略或 prompt 后，用 Ragas 跑评估数据集，量化答案和检索质量变化。
  • 准备上线新的 RAG 版本前，对比多个版本的 Aspect Critique 分数，判断改进是否有效。
  • 团队需要向 stakeholders 证明某次 embedding 更换提升了检索效果，用自动化评分提供数据支撑。

适合人员

  • RAG 系统工程师，需要在部署前验证检索或生成改动的效果并量化收益。
  • 机器学习平台负责人，要为团队引入标准化的 RAG 质量评估流程。
  • 技术团队负责人，需要用客观数据说服管理层某次重构值得投入资源。