自主循环外壳架构
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @kunlungrowth/kg-harness-engineering。
技能介绍
问题:Agent 能自己跑几天吗
多数 Agent demo 只活一次会话:让它写代码,代码能改;让它打分,分数也能改。一旦指标、rubric 和工具都能被同一个循环碰,Agent 就可能通过调低门槛让自己通过,或在长循环里丢掉计划、重复已被否决的尝试。受控外壳工程只解决一件事:给自主循环加一层控制面。
核心能力:控制面不是更多提示词
技能把边界拆成四类界面,并显式回答谁能改、反馈从哪来、状态写在哪、什么操作必须人批:
Locked:指标、rubric、校验脚本、合并策略。Agent 可读、可提议修改,但不能用改过的规则给自己打分。Editable:skill 草稿、实验文件、待测 prompt/配置。循环内可改。Append-only:结果日志、研究线索、被拒想法。只能追加,不能回写。Human-controlled:合并、部署、凭据、破坏性操作。缺显式授权就不执行。
在此基础上,它要求反馈快、无歧义、难作弊:最小 autoresearch 循环可以是可编辑文件 + 锁定评估 + 固定墙钟预算 + 标量指标 + git 回滚;更开放的“研究到 skill”循环则换成锁定 rubric、确定性结构检查、来源可追溯和人工评审阈值。
持久状态必须外置:计划、来源队列、结果、失败、交接写进文件,未来 Agent 不靠聊天历史也能续跑。搜索纪律也写进外壳:定期刷新上游来源、大预算前查新、保留被拒尝试、留一法剪枝、质量相当时奖励简化、晋升前独立验证。机制登记表用稳定 mechanism_id 区分“已接受机制”和散文,既防关键词旧话术,也防真正重复的机制。
输出与边界
主工件是 HarnessSpec:目标、四类界面、反馈机制、状态、文件布局和下游 skill。它适合长研究循环、可编辑代码/内容环境、能产 PR 或后台运行的 Agent;不替代 evaluation 质量门、tool-design 的工具契约、project-development 任务适配,或 hosted-agents 的沙箱边界。没有自主控制面时,它不是通用质量门。
使用场景
- 在设计自主研究循环时,需要划分指标锁定区与代码可编辑区,确保Agent不能改规则给自己打分。
- 当Agent要在长运行中生成PR或部署时,需要明确哪些操作必须人工批准,哪些只能起草。
- 在构建研究到skill的管线时,需要用机制登记表防止Agent重复发现已被否决的旧机制。
- 当Agent需要连续几天跑实验时,需要把计划、失败记录和交接写进文件,避免依赖聊天历史。
适合人员
- 正在搭建自主Agent循环的平台工程师,需要定义锁定指标和可编辑边界。
- 要防止Agent刷榜或削弱rubric的研究工程师,需要紧反馈和防作弊机制。
- 需要让Agent连续几天后台运行的开发者,需要外置持久状态和回滚策略。
- 负责合并Agent产出PR的开源维护者,需要明确的治理和批准流程。