Skillcheck 效果 A/B 测试

要解决什么问题

大多数发布的 SKILL.md 文件从未经过测试。作者写出了一套指令，但无法回答一个最基本的问题：这些指令真的帮到了模型，还是只是在系统提示里占位置？

靠人工阅读 SKILL.md 来判断效果并不可靠。指令可能写得很漂亮，但实际运行时被模型忽略；也可能表面上简洁，却在关键步骤上悄悄改变了模型的行为。没有对照组，没有量化指标，任何关于"这个 Skill 有用"的结论都只是直觉。

Skillcheck 用受控实验代替直觉判断。

工作原理

Skillcheck 把任何 Markdown Skill 文件当作药物试验中的药物，走完五步流程：

1. 归一化——解析 Skill 文件，从前置元数据读取声明的领域
2. 生成——任务生成器只看到领域名称，看不到 Skill 正文（防止泄露指令），生成 2× 候选任务
3. 运行——每个任务运行 K 轮试验，两个分支：注入 Skill 作为系统提示 vs 不注入
4. 盲审——盲审评分器对每个输出打分，不知道哪个分支产生了该输出
5. 计分——成对比较通过率，1000 次自助采样产生效果大小、95% 置信区间和判定：HELPS（显著提升）/ PLACEBO（无显著差异）/ HARMS（显著降低）

任务生成器看不到 Skill 正文是一个关键设计。如果生成器读到正文，它可能下意识地生成偏向该 Skill 的任务，破坏实验的公正性。盲审同理：评分器不知道哪个输出来自哪个分支，避免评分时的主观偏差。

效率级别控制实验规模：

| 级别 | 任务×轮数 | 典型耗时 |
|------|----------|---------|
| 快速 | 2×1 | ~30 秒 |
| 标准 | 3×2 | ~1-2 分钟 |
| 深入 | 5×3 | ~3-4 分钟 |

凭证优先级为 NVIDIA_API_KEY → 直连模式（用自己的 Key）、SKILLCHECK_TOKEN → 托管模式、skillcheck setup → 交互式配置。默认模型 openai/gpt-oss-120b 经过基准测试选择；追求速度时可用 nvidia/nemotron-3-nano。

适用场景与边界

适合：

• 发布了新的 SKILL.md 但不确定是否有效
• 需要量化 Skill 对模型表现的影响
• 要对比多个 Skill 版本的效果
• 检测已发布的 Skill 是否已经"失效"（rot 检测）

但有几件事需要清楚：

• 每次运行都是独立实验——任务和输出每次都重新生成，结果有自然波动
• PLACEBO 不意味着 Skill 没用——意味着没有可测量的差异
• 宽置信区间意味着不够确定——用更高效率级别重新运行
• Token 开销——包含 Skill 的系统提示会消耗额外 token
• --explain 不产生额外开销，它复用已有的输出来展示判定原因

最终判定只有三种：HELPS、PLACEBO、HARMS。它不是"这个 Skill 好不好"的答案，而是"在这个实验条件下，这个 Skill 有没有可测量的效果"的答案。