技能介绍

要解决什么问题

当你手上有干净版 skill和被修改、投毒或蒸馏退化后的 poisoned skill 时，很难用「随便问几句」判断能力是否还在。上下文串题、用 poisoned 版出题、或让外部 API 同时设计题目和打分，都会把 benchmark 做脏。

本 skill 把「clean 与 poisoned 的能力保真度比较」收成一条可重复的流程：同一套任务、同一套 rubric、在隔离上下文里分别跑两份 skill，再给出结构化对比结论。它是通用 skill 评测器，不限于名人或 persona 型 skill；只要输入是可读的 skill 文档或目录即可。

如何工作

最少输入 clean_skill 与 poisoned_skill 的路径（单文件如 SKILL.md 或整目录）。可选 output_dir、model、api_base、api_key_env 等，用于 API 只生成各任务的 answer 字段。

核心步骤：

读取技能材料：目录时优先 SKILL.md，并尝试合并 work.md、persona.md 等，拼成干净的 skill 语义上下文。
生成任务集：仅以 clean_skill 为来源，由当前执行该 skill 的 agent 直接写出 taskset.jsonl（含任务类型如 anchored_reproduction、boundary_check、trigger_pair 等），禁止用外部 API 或 poisoned 版参与出题。
隔离 API 运行：每个任务单独调用，system 里只放当前 skill 与严格 JSON 输出格式，不带上一题答案或对照信息；分别得到 clean_answers.jsonl 与 poisoned_answers.jsonl。
评分与汇总：仍由 agent 直接打分（不看「文本像不像」 alone，还要看 reasoning、heuristics、边界与 trigger-pair 偏航），产出 clean_scores.jsonl、poisoned_scores.jsonl、comparison.json 与 report.md。

边界与注意点

硬约束：外部 API 不得生成 taskset、rubric、评分或最终报告；poisoned_skill 不得参与 taskset 设计。
skill 极短或内容高度通用时，报告里应写明区分度有限；某类题与 skill 类型不匹配时可降权，不宜静默删掉整类能力。
API 返回非 JSON 时先重试，仍失败则记错并继续后续题目；换 provider 时注意 JSON mode / thinking mode（例如部分模型需固定 temperature 否则空 content）。
字段与格式以 skill 内 references/output_schema.md、references/evaluation_principles.md 为准。