技能介绍

一个被长期忽略的问题

很多发布的 SKILL.md 从未被真正测试过。作者可能相信它能提升模型表现，但无法证明：输出变好是技能真的起了作用，还是任务本身、模型版本、提示词措辞带来的随机波动。靠直觉判断会把它误当成生效，也难以发现已经失效或造成伤害的技能。Skillcheck 的目标是用受控实验替代这种感觉。

核心能力与关键步骤

Skillcheck 把一份 Markdown 技能文件看作待验证的干预物，整个流程类似药物试验：

归一化：解析 SKILL.md，读取前置元数据中声明的领域。
生成：任务生成器只能看到领域名称，看不到技能正文，避免指令泄露影响任务设计；每个领域生成 2× 个候选任务。
运行：每个任务进行 K 轮试验，同时跑两个分支：注入 Skill 作为系统提示 vs 不注入。
盲审：评分器不知道输出来自哪个分支，只能按质量打分。
计分：成对比较通过率，通过 1000 次自助采样估算效果大小和 95% 置信区间，最终给出 HELPS、PLACEBO 或 HARMS 的判定。

适用边界与注意点

它适合发布新技能前的效果验证、对比多个版本、量化影响，以及检测已发布技能是否失效。效率级别会控制任务数和试验轮数：快速 为 2×1，标准 为 3×2，深入 为 5×3。凭证按 NVIDIA_API_KEY → 直连模式、SKILLCHECK_TOKEN → 托管模式、skillcheck setup → 交互式配置的优先级读取。需要注意，每次运行都是独立实验，任务和输出都会重新生成，结果天然有波动；PLACEBO 不代表技能无用，只代表没有可测量差异；置信区间越宽越不确定，可提高效率级别重跑。注入技能会额外消耗 token，--explain 不产生额外开销。默认模型为 openai/gpt-oss-120b。