Agent Skills
返回列表
🤖

Skill QA

AI Agent 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md 安装 @aiulink/skill-qa,将该技能加入你的 AI 助手。

技能介绍

它解决什么问题

给 Agent Skill 做回归验证一直很别扭。Skill 本体是一段自然语言指令,改动往往落在措辞、流程分支和引用文件上,传统测试手段很难覆盖。

如果沿用代码测试的思路,你会下意识地准备 golden file、固定测试集,或者把同一个输入跑 N 次看分布。但 Skill 的行为本身就带有不确定性,固定语料和采样只能测出"输出漂了多少",测不出"意志是不是被正确理解了"。这就像用单元测试替代 Code Review——能跑,但抓不到设计意图层面的漏洞。

Skill QA 换掉了这个前提:不执行任务来断言结果,而是审查 diff 来评估理解。

工作方式

整体围绕 git diff 展开,被测 Skill 必须位于 git 仓库内,变更是分析的入口。

核心流程分五个阶段:

  • Phase 0·前置检查:校验 skill_path、收集变更文件清单和行数、拉取完整 diff,并按规模标记为 trivial / small / medium / large,据此自动选择 review 或 probe 模式。
  • Phase 1·理解变更:读取新旧两版 SKILL.md 以及 diff 涉及的 references/ 文件,归纳 change_type(如 docs、logic、config)和 risk_level。
  • Phase 2·生成双向假设:这是整个流程的发动机。Targeted hypotheses 回答"这次改动应该让哪些行为变化",每条都要挂到 diff 的具体行;Control hypotheses 回答"哪些行为不该动",用来捕捉副作用与回归。只写出 targeted 而没有 control,说明爆炸半径没想清楚,需要重新生成。
  • Phase 3-4·探查与对比(仅 probe 模式):每个探查是一个自然语言任务输入,分别交给旧版和新版两个子代理执行,再做语义对比,得出 confirmed / no_change / unexpected / no_regression / regression 结论。探查默认用 socratic 风格——问 Skill 怎么下手就够了,不必真的跑完整任务。
  • Phase 5·判定与报告:汇总为 PASS / FAIL / NEEDS_REVIEW,并输出 Markdown 报告,包含变更摘要、假设、探查结果、风险清单和可执行建议。

几个工程上值得注意的取舍:

  • 测理解而非测措辞。两个版本用不同词表达同一逻辑,视为等价。
  • 不做统计采样。每个探查只跑一次。同一个输入跑两次结果不一致,属于指令歧义,会被当作 bug 记入报告。
  • 假设可追溯。探查必须挂在假设上,假设必须指回 diff 的具体改动,否则判定无效。
  • 成本可控。review 模式只读不跑,零额外 LLM 开销;probe 模式最多 10 次子代理调用(5 个探查 × 2 个版本)。子代理 max_turns 限制为 8,前两个 targeted 探查都已确认可跳过剩余 control 探查,一旦发现 regression 则继续跑完以便收集完整信息。

适用边界

这个技能不修改被测 Skill,只读取和分析,报告是唯一输出物。它也不适用于非 git 管理的目录——缺少 diff 就无从下手。

它衡量的是语义层面的理解质量,而不是端到端业务正确性。如果你只关心"某段文案有没有改错一个字",普通的 diff review 就够了;如果你要判断一次指令调整是否让 Agent 真正读懂了意图、有没有波及无关路径,这套方法才划算。

使用场景

  • Skill 更新提交后,需要确认新增判断分支是否真的被 Agent 理解
  • SKILL.md 从单文件拆出 references/ 目录,需要验证关联文件是否被正确加载
  • AI 审查怀疑改动删掉了原有兜底逻辑,需要用 control 探查确认是否回归
  • 不确定该用 review 还是 probe,需要根据变更规模自动选择执行模式

适合人员

  • Agent Skill 作者,需要验证 SKILL.md 中的判断逻辑是否被正确理解
  • Agent 应用维护者,负责多个内部技能的回归验证,不想写固定测试用例
  • 平台工程团队,需要在技能发布前完成一轮低成本的变更审查
  • 独立开发者,希望用不超过十次子代理调用来评估一次技能改动的影响范围