大模型回归测试助手
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_b4da0893/llm-regression-test-cn。
技能介绍
解决什么问题
大模型行为会被提示词、模型版本、检索索引、工具定义、采样策略和评审器共同影响。一次“看起来更聪明”的版本升级,常常既包含真实改进,也夹带事实性下降、格式漂移、工具调用失败、安全边界变窄、成本或时延失控。若只看少量演示题或总体平均分,高损失切片中的少量退化很容易被掩盖;若基线与候选运行条件不一致,差异也无法归因。
它如何工作
这个技能把发布判断变成可复现实验。先冻结模型与版本、提示词、采样参数、检索索引、工具定义、系统消息、上下文拼接、重试策略和评审器;对远端依赖记录时间窗与响应版本。再按真实流量、历史损失、边界条件、注入、冲突、无答案、工具失败和事故复现样本构建分层测试集,并为每例写明期望行为、允许变化与禁止结果。
判定采用双层结构:硬约束验证 JSON、字段、引用、关键词、数值范围、工具参数和拒答规则;固定量表评估正确性、完整性、可执行性与表达。生成性任务按波动和风险重复运行,交错执行基线与候选,保存原始输出、工具轨迹和评分理由,而不是只保留总分。每项差异标记为 IMPROVED、REGRESSED、FLAKY 或 INVALID 等,并先查硬约束失败,再分离随机性与依赖、缓存、检索、工具变化。
适用边界
不要上传真实客户数据、密钥、未脱敏对话或受限文档;不要在未授权时调用产生费用的批量接口。自动评分器只适合作为辅助,需用已知好例坏例校准并持续人工抽查。关键安全、权限、事实或数据泄露样本应设独立零容忍门禁,不能用平均分覆盖;也不要通过调低门槛掩盖候选退化。结论应明确为 PASS、PASS_WITH_RISK、FAIL 或 BLOCKED,最终可接受风险仍由业务负责人确认。
使用场景
- 在模型或提示词升级前冻结基线环境,按流量与风险构建分层测试集,成对重复运行后定位关键切片退化,判断是否进入发布门禁。
- 修复Agent工具调用bug后,需要验证工具选择、参数、权限确认和失败恢复五个环节是否符合预期,防止修复引入新问题。
- 更新RAG知识库索引后,需要重点验证引用支持、召回缺口、过期答案和无答案处理,避免新索引引入事实性退化。
- 为结构化抽取服务建立字段级断言与重复运行,监控缺失字段、幻觉数值和格式漂移,定位当前退化来自模型还是工具变化。
适合人员
- 需要发布LLM版本的算法工程师:希望在模型或提示词改动上线前,用可复现实验证明关键能力没有退化,并得到清晰的通过或回滚结论。
- 负责RAG系统可用性的后端工程师:想在检索索引或知识库更新后,系统验证引用支持、召回缺口和过期答案处理是否符合既定门槛。
- 管理多Agent工作流的技术负责人:想判断工具调用退化究竟来自模型、工具定义还是环境变化,以决定是否阻塞发布或回滚。
- 维护结构化抽取服务的ML工程师:想用固定量表和重复运行区分真实字段级退化与随机波动,避免误判导致不必要的回滚。