Agent Skills
返回列表
🤖

SkillOpt 技能训练器

AI Agent 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_84aa03cf/chenlin-skillopt。

技能介绍

解决什么问题

手写 Agent 技能文档基本靠试错:改一句措辞、加一段示例、收紧一条约束,然后靠几条主观印象判断“有没有变好”。这类反馈既无法复算,也无法追溯——某次改动为什么被采纳,除了当事人没人知道。结果技能文档常见三种退化:越改越长,约束堆到互相矛盾;越改越偏,一次“看起来合理”的改写悄悄拉低真实得分;越改越脆,没有负向记忆,同一个失败编辑被反复提出。SkillOpt 把技能文档当作模型之外的可训练参数,用一套带验证门控的迭代循环替代手调。

核心能力

  • 双角色分工:冻结的执行器用 current_skill.md 跑任务产出轨迹;优化器读轨迹提议小幅编辑。单 Agent 环境可由同一实例分别扮演。
  • 前向—反向—更新—门控:rollout batch 产出证据,轨迹按成败拆成 reflection minibatch 分别反思,再以 text learning rate(默认 ≤3 处)截断候选编辑,最后在留出验证集上做严格更优门控。
  • 负反馈记忆:被拒编辑进 append-only 台账,下轮优化器先读再改。
  • 产出可审计:best_skill.md 是验证集上最优版本,skillopt_runs/_ledger.md 记录被采纳与被拒编辑及原因。

适用边界

必须有自动 verifier 与带标准答案的任务,主观、开放、无评分口径的场景不适用——此时应停止并明确告知用户,而非假装能优化。纯推理难题也不是它的靶子,它优化的是程序性纪律(格式、自校验、工具策略)。停止条件为连续 2 个 epoch 无被采纳编辑、达到 epoch 预算(默认 5)或用户叫停。论文报告的 +23.5 均值来自其自有评测体系,属于上限信号,须在真实任务上自验。

使用场景

  • 手上有一份处理 Excel 汇总任务的 skill.md,已写验证脚本可对输出打分,想让它每轮自动提议并验证小幅改写
  • 团队维护的 CLAUDE.md 越来越长且互相矛盾,需要一个能在留出验证集上做严格更优门控的改稿流程
  • 要把针对 Codex 的一份过程性技能文档跨模型复用,想通过迭代训练沉淀出紧凑的 best_skill.md
  • 同一处编辑反复导致验证集得分下降,需要一个拒绝编辑缓存来记住失败并防止重复消耗预算

适合人员

  • 维护 Agent 技能库的后端工程师,希望用验证集自动筛选有效的 prompt 改写
  • 负责给团队沉淀 CLAUDE.md 的技术写作者,需要可审计的编辑台账避免越改越乱
  • 跑 Codex 或 Claude Code 自动化流水线的工程师,想给固定任务配一套带验证门控的说明书
  • 有评测脚本、想把手动调参变成可回滚训练循环的机器学习工程师