自动研究改进循环
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_3c6cb52e/run-autonomous-improve-verify-keep-or-revert-loops-across-coding-tasks-with-autoresearch。
技能介绍
它解决什么问题
在编码任务里,人工改一版、跑一次验证、再决定留不留,很容易变成反复切换上下文的机械劳动。这个技能面向的是“有明确目标、能写出验证命令或指标”的任务:它把 Claude Code、OpenCode 或 Codex 包成一个 指标驱动 的自主循环,每次只做 一个改动,用机械方式验证,然后自动 保留或回退,避免一次改多处后无法归因。
它如何工作
上游来自 Karpathy 的 autoresearch 思路:一个 630 行 Python 脚本能在一夜完成 100 次实验,靠的不是魔法,而是简单规则。技能把这种思路搬到编码任务:
- 准备条件:需要一个 Git 仓库、受支持的 agent 环境,以及可机械执行的验证命令或指标。
- 五步引导:
capture goal→define scope→define metric→define direction→validate verify command;每一步都是闸门。 - 机械化门槛:scope 必须落到文件,metric 必须输出数值,verify command 要先跑 dry-run。
- 运行方式:
/autoresearch启动循环;在 inline config 里加Iterations: N可跑满 N 轮后停止。 - 迭代纪律:一次只改一处,验证通过就保留,失败或指标变差就回退,再进入下一轮。
适用边界与注意点
它适合目标清晰、验证可机械执行、仓库状态可控的任务,例如模型训练脚本、性能敏感模块、有明确指标的重构。如果验证命令不可靠、指标本身有噪声,或改动天然需要多文件联动,循环结果也可能被误导。它不替代架构判断,也不负责定义任务方向;你仍需保证 metric、direction 和 scope 正确。另外,无限循环只有在指标可靠且风险可控时才有意义;保守做法是先设 Iterations: N,观察几轮再放开。
使用场景
- 在修改机器学习训练脚本时,需要连续尝试不同超参数并自动记录指标,通过循环自动保留提升效果的配置。
- 在优化后端接口性能时,需要一次只改一个模块并运行测试,用机械验证命令确认耗时下降后自动保留代码。
- 在重构老旧业务代码时,需要确保每次修改都不破坏现有测试,通过设定指标和验证命令让代理自动回退失败改动。
适合人员
- 算法工程师,需要熬夜跑大量模型实验并自动筛选出最优超参数组合,不想手动盯盘和记录结果。
- 后端开发工程师,需要在重构历史代码或优化接口性能时,确保每次改动都有自动化测试兜底并能自动回退风险变更。
- AI 工具链开发者,希望为 Claude Code 或 Codex 等编码代理配置标准化的指标验证流程,使其能自主完成长周期迭代任务。