自我进化的元技能系统
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_aba7511a/meta-skills。
技能介绍
要解决的具体问题
在多技能 Agent 系统中,路由策略、评估标准、系统角色和异常规则往往分散在 Prompt、配置和人工经验里。一旦用户请求类型变化,或某类任务连续失败,团队只能从日志中手动归纳问题、改写 Prompt,并很难判断新版本是否真的更稳定。meta-skills 关注的正是这个缺口:它不直接回答用户请求,而是把“技能如何被调度、如何被评估、如何被优化”的策略对象化,并通过可观测日志进行持续调整。
核心工作方式
该技能把优化流程拆成四个关键环节:
- 触发:按调用次数、时间窗口、错误率变化或用户显式反馈启动优化。
- 反思:调用 LLM 分析近期执行日志,识别路由缺陷、评估偏差、未被覆盖的任务类型,并输出结构化优化建议。
- 变异:根据反思结果生成候选策略,支持
CLARIFY、EXEMPLIFY、ROLE_SET、THRESHOLD_ADJUST、RULE_ADD、DECOMPOSE等算子组合。 - 验证与上线:在离线测试集上真实调用 LLM 对比输出、延迟和 token 成本,再进入影子模式、A/B 与全量上线。
系统还提供策略包、不可变日志、回滚管理、权限控制等安全边界,避免优化过程绕过执行约束或污染原有日志。
适用边界
它更适合已经积累日志、具备可评测输出、且策略需要反复迭代的多技能系统。对于刚创建的新技能、只需一次配置修改的场景,或高度主观的审美类输出,不应依赖自动变异。使用方需要维护标准测试集,并关注 LLM 反思与验证带来的额外调用成本。
使用场景
- 多技能路由出现某类请求连续失败时,用日志触发反思并生成候选路由策略。
- 上线新 Prompt 前,用标准测试集做离线 LLM 验证并对比成功率、延迟和 token 成本。
- 技能调用日志中错误类型突增时,用变异算子调整角色、阈值或 few-shot 示例。
- 本地 Ollama 成本敏感时,配置本地模型做反思与验证,并在失败时回退规则分析。
适合人员
- 维护多技能 Agent 路由的工程师:需要把失败日志转成可回滚的候选策略。
- 评估 Prompt 上线质量的算法工程师:需要用测试集对比真实 LLM 输出、延迟和成本。
- 管理技能版本回滚的平台工程师:需要影子模式、A/B 与自动回滚控制上线风险。
- 使用本地模型做策略调优的研究者:需要 Ollama 端点与失败回退机制。