技能改进引擎 K5

它解决什么问题

写一个 Skill 的 SKILL.md 往往很快，但判断它「质量如何」却缺少客观标准。凭感觉改完一轮，没法回答三个问题：这次修改是提升还是退化？评估结论本身可靠吗？线上跑出来的日志里有没有任何信号？skill-improver-k5 就是为这套问题设计的维护工具链，它把评估拆成静态和动态两层：

• darwin 8 维静态评估：Frontmatter 质量、工作流清晰度、边界条件覆盖、检查点设计、指令具体性、资源整合度、整体架构、实测表现，加权后给出 S/A/B/C/D 等级。
• verifier 4 维动态评估：结果（回归通过率）、过程（步骤偏差）、风格（模板符合度）、效率（耗时/Token 比），并支持 llm_judge.py 做 LLM-as-Judge 自动化评分。

核心能力

• 双评估 + 多轮反思：M1 完整改造流程支持 refinery.py 的 Self-Refine 模式，最多迭代 3 轮，默认达标线 85 分，连续两轮无提升即停止，防止无限循环。
• 升级后验证：M3 在 ≥30 分钟间隔后重新盲评同一 Skill，用 pair_blind.py 计算 Cohen's kappa 衡量评估框架一致性，同时对比历史趋势判断退化（>5%）或进化（>10%）。
• 回归测试：M5 从 regression.json 逐样本执行并记录 pass/fail 与耗时，通过率 ≥90% 才算通过；支持从 .bak 自动恢复损坏的回归集。
• 行为分析：M7 对 logs/executions/*.json 做五层信号提取（L1 信号 → L2 模式 → L3 归因 → L4 建议 → L5 门禁），并用 bias_check.py 做四维评估偏差检测。
• 改进提案闭环：M7 诊断完成后，M8 用 improvement_generator.py 生成 2-3 个带预期提分、风险和回滚方案的提案及 unified diff；每轮改造前自动打包到 back/{skill}/，验证退化时可一键回滚，保留最近 10 个快照。
• 外部输入扩展：M11 按三层降级策略搜索 GitHub 同类 Skill 做 7 维对比，M12 实时检索 arxiv 论文并按成熟度/适配难度/预期收益打分，两者作为 M1 改造的对标输入。
• 自省与幻觉检测：M10 以零侵入方式向 SKILL.md 尾部追加自省模块（可完整剥离），M13 从事实准确性、内部一致性、来源可溯性、对抗验证四个维度检测幻觉，输出 0-100 幻觉评分并作为 M1 Step 3 的质量门禁。

适用边界

这套工具适合有版本管理习惯、愿意把评估结果落成文件的团队。它有几个硬前提：

• M7 行为分析要求 logs/executions/ 下至少有 3 条执行日志，新 Skill 无历史数据时只能先跑一次基线（E7）。
• 回归测试前必须先用 M5 构建模式生成 regression.json，否则流程会直接提示你先建回归集。
• M3 的盲评一致性依赖间隔时间或不同 LLM 实例，同窗口同模型的两次评估没有意义。
• 结构审查（M6）遵循 references/skill-structure-conventions.md 的 S1-S6、R1-R4、L1-L4 规则，如果你的项目有自定义规范，审查报告需要自己调整口径。
• 论文洞察（M12）在断网时会降级到预置经典论文库，搜索覆盖不到最新工作。