SkillOpt 技能训练器
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_84aa03cf/chenlin-skillopt。
技能介绍
解决什么问题
手写 Agent 技能文档基本靠试错:改一句措辞、加一段示例、收紧一条约束,然后靠几条主观印象判断“有没有变好”。这类反馈既无法复算,也无法追溯——某次改动为什么被采纳,除了当事人没人知道。结果技能文档常见三种退化:越改越长,约束堆到互相矛盾;越改越偏,一次“看起来合理”的改写悄悄拉低真实得分;越改越脆,没有负向记忆,同一个失败编辑被反复提出。SkillOpt 把技能文档当作模型之外的可训练参数,用一套带验证门控的迭代循环替代手调。
核心能力
- 双角色分工:冻结的执行器用
current_skill.md跑任务产出轨迹;优化器读轨迹提议小幅编辑。单 Agent 环境可由同一实例分别扮演。 - 前向—反向—更新—门控:
rollout batch产出证据,轨迹按成败拆成reflection minibatch分别反思,再以text learning rate(默认 ≤3 处)截断候选编辑,最后在留出验证集上做严格更优门控。 - 负反馈记忆:被拒编辑进 append-only 台账,下轮优化器先读再改。
- 产出可审计:
best_skill.md是验证集上最优版本,skillopt_runs/_ledger.md记录被采纳与被拒编辑及原因。
适用边界
必须有自动 verifier 与带标准答案的任务,主观、开放、无评分口径的场景不适用——此时应停止并明确告知用户,而非假装能优化。纯推理难题也不是它的靶子,它优化的是程序性纪律(格式、自校验、工具策略)。停止条件为连续 2 个 epoch 无被采纳编辑、达到 epoch 预算(默认 5)或用户叫停。论文报告的 +23.5 均值来自其自有评测体系,属于上限信号,须在真实任务上自验。
使用场景
- 手上有一份处理 Excel 汇总任务的 skill.md,已写验证脚本可对输出打分,想让它每轮自动提议并验证小幅改写
- 团队维护的 CLAUDE.md 越来越长且互相矛盾,需要一个能在留出验证集上做严格更优门控的改稿流程
- 要把针对 Codex 的一份过程性技能文档跨模型复用,想通过迭代训练沉淀出紧凑的 best_skill.md
- 同一处编辑反复导致验证集得分下降,需要一个拒绝编辑缓存来记住失败并防止重复消耗预算
适合人员
- 维护 Agent 技能库的后端工程师,希望用验证集自动筛选有效的 prompt 改写
- 负责给团队沉淀 CLAUDE.md 的技术写作者,需要可审计的编辑台账避免越改越乱
- 跑 Codex 或 Claude Code 自动化流水线的工程师,想给固定任务配一套带验证门控的说明书
- 有评测脚本、想把手动调参变成可回滚训练循环的机器学习工程师