Agent Skills
返回列表
📊

Evidently ML 与 LLM 漂移质量报告

数据分析 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_3c6cb52e/generate-drift-and-quality-reports-for-ml-and-llm-pipelines-with-evidently 技能。

技能介绍

问题：变更后的回归盲区

在 ML 和 LLM 管道中，当输入数据分布发生变化、模型版本更新或提示词调整后，很难判断这些变更是否引入了回归问题。缺乏可复现的评估报告，发布前的验证往往依赖主观判断，导致问题在上线后才暴露。

Evidently 如何工作

Evidently 是一个开源 Python 库，用于评估、测试和监控从实验到生产的 ML 和 LLM 系统。它通过以下方式生成可复现的漂移和质量报告：

  • 检测数据漂移，比较不同时间点的数据分布差异
  • 评估模型输出质量，验证预测结果的一致性
  • 提供 Python 接口 支持自定义指标，满足特定业务需求
  • 生成交互式报告，可导出为 JSON、Python 字典、HTML 格式
  • 支持在监控 UI 中查看报告，便于持续跟踪

适用边界

使用前需准备 Python 3.9+ 环境，以及用于比较的数据集或评估输出。该工具适用于实验阶段到生产环境的全流程监控，但对于非技术用户可能需要一定的编程基础。

使用场景

  • 模型上线前，对比新旧版本预测输出的分布差异，生成报告确认变更未引入回归。
  • 修改 LLM 提示词后，生成质量报告验证输出是否仍符合预期，避免带病发布。
  • 线上数据分布突变时，通过漂移报告排查是数据源变更还是模型行为异常。
  • 将监控报告导出为 HTML 或 JSON 存档，作为发布流程中可复现的评估记录。

适合人员

  • 负责模型上线的机器学习工程师，需要客观证据说明本次变更不会造成性能回退。
  • 维护 LLM 应用的后端开发者，想在提示词迭代后验证输出质量是否稳定。
  • 负责生产监控的数据科学团队成员，需要定期产出漂移报告排查线上异常。
  • 写发布说明的技术负责人，要把可复现的评估报告附在变更记录里供团队审阅。