EvoSkill · 自进化引擎
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @douxin-tech/evo-skill。
技能介绍
它解决的问题
普通 Skill 写完就冻结了。实际使用中,输出不完整、用户反复追问、手动改写结果这类信号,要么没人记录,要么记在聊天记录里很快被淹没。由此产生两种典型失败:一种是「觉得 Skill 不好用,随手改 prompt」,改完没有任何验证,下次出问题也说不清是哪次改动引入的;另一种是 Skill 从未被复盘,同类错误反复出现。EvoSkill 的目标是把「单次运行的隐性反馈」沉淀成「可追溯、可验证的进化决策」,而不是又一个让人改着改着就失控的配置文件。
核心能力
- 运行记忆库:为任意 Skill 初始化
memory/,用隐式信号记录每次执行,不需要 1–5 分评分。followup_count、user_rewrite、regenerate、session_end_after按实际情况传入,缺省省略。 - L1–L2–L3 分层反思:借鉴 Reflexion,用语言反思替代梯度更新。运行满 10 次或用户明确要求时,读取
templates/reflection.md跑完 L1→L2→L3 产出反思摘要;L1 未发现错误时按 MP-04 做零错误降级。 - diff 提案:改进以补丁形式给出而非重写文件,便于审查与回滚。
- 盲评验证:A/B 影子评估,评估者不知道哪一版是改进版,胜率 ≥ 0.6 才标记
validated。该阈值来自 Self-Refine 论文报告的 5 轮迭代后收敛胜率。 - 人在环中应用:绝不自动写入。apply 前重新读取目标文件、校验 diff 上下文是否仍匹配,不匹配则拒绝并提示重新反思;同时在
memory/.bak.<skill>.md保留备份。 - 报告闭环:进化结果写回记忆库,形成可追溯日志。
存储基于 SQLite + markdown,零外部服务。
需要注意的地方
- 反思需要样本量:少于 10 次运行不触发反思,冷启动阶段证据不足。
- 盲评有方差:用例少时胜率不稳定,建议用
--include-failures分层采样补齐失败样本。 - LLM 在环意味着成本与延迟:反思、提案、盲评都由模型读取模板与记忆文件完成,
evolver.py只做持久化、不调用 LLM。 - 无法跨机协作:零外部服务的代价是记忆库绑定本地文件,多台机器的运行记录不会自动合并。
- GEO 规则较重:输出结构、引用格式、时效声明均为强制要求,接入业务 Skill 前需评估是否适合自己的场景。
使用场景
- 维护一个 Skill 时,发现输出经常不完整,想用失败样本定位具体缺口
- 某 Skill 已运行超过十次,准备触发一次系统反思并生成改进提案
- 改完某个 Skill 后想验证效果,用盲评对比新旧版本的实际输出质量
- 想审阅待处理的改进提案,确认后再写入目标文件并保留回滚备份
适合人员
- Agent 技能库维护者,需要让现有 Skill 从真实运行中持续改进而非靠猜测改 prompt
- 大模型应用工程师,要在业务 Skill 中接入进化闭环并保留完整审计日志
- 质量与安全负责人,关注改进提案是否有验证证据、能否一键回滚
- 研究智能体自我改进的开发者,想把 Reflexion 与 Self-Refine 落成可跑的工程闭环