Agent Skills
返回列表
🤖

发布前回归测试套件

AI Agent 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据安装指南 https://skillhub.cn/install/skillhub.md，将技能 @user_3c6cb52e/regression-test-prompts-agents-and-rag-outputs-before-shipping-changes 安装到你使用的 AI 助手中。

技能介绍

你要解决的问题

在提示、Agent 或 RAG 链路上线前，团队常常靠人工抽查几条样本就判断"改动没改坏"。一旦提示词微调、模型替换、检索排序变化或 Agent 的工具调用策略调整，回归风险会藏在三类地方：输出格式漂移、关键事实被改写、多轮路径偏离预期。靠肉眼 review 既慢又无法回归复现。这个技能的价值是把"上线前回归"变成可重复的评估工作流，而不是一份 AI 工具清单。

它如何工作

  • 核心定位：用 promptfoo 对提示、Agent 或 RAG 行为进行基于断言的评估。断言是事先保存的检查点，例如输出包含某关键词、JSON 字段合法、语气不越界、检索引用来自指定文档。
  • 评估对象：提示词本身、Agent 的完整运行轨迹、RAG 生成的回答，都可以纳入同一套回归口径。
  • 工作流：变更前后各跑一次相同评估集，对比断言通过情况；失败项用来阻断上线或驱动迭代。
  • 上游来源：技能说明参考官方文档 https://www.promptfoo.dev/docs/intro/，并从上游仓库的 README 抽取了关键用法。

适用边界与注意点

  • 适合工程化团队：需要 Node.js、CI pipeline 和模型提供商的凭据配合，不是开箱即用的零配置工具。
  • 断言质量决定回归可信度：断言写得太松，回归测试只是形式；断言太脆，又会频繁误报。
  • RAG 评估依赖固定的测试集与检索索引版本，文档库变化后断言需要同步维护。
  • Agent 评估要考虑非确定性：同一输入下多次运行可能结果不同，建议设置合理的阈值或多次采样策略。

使用场景

  • 微调提示词后，想确认既有回答格式和关键事实未变，在 CI 里跑一遍断言评估再合并代码。
  • 更换模型提供商或调整温度参数前，用保存的断言批量对比新旧模型在测试集上的输出差异。
  • RAG 检索排序策略调整后，验证引用来源是否仍来自指定文档、答案是否覆盖核心要点。
  • Agent 工作流改动后，检查多轮路径中的工具调用参数和最终回复是否符合预期约束。

适合人员

  • 负责上线前质量把关的后端工程师，需要把提示词变更纳入 CI 回归流程，替代人工抽查。
  • 维护 RAG 检索系统的算法工程师，在调整排序或索引版本后要验证答案质量和引用准确性。
  • 构建 Agent 平台的工程团队，需要在模型或策略迭代时用断言保护多轮对话的行为稳定性。
  • 编写提示词的开发者，想在发布前用自动化断言确认输出格式、语气和事实性不回退。