智能体成本优化器
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_a743b4e3/skill-optimiser
技能介绍
问题:固定成本、轮次和缓存在悄悄吞噬预算
会调用工具的 LLM 智能体普遍存在四类浪费:
- 工具 schema 全量加载:连接多个工具服务器后,即使只是完成一个简单任务,每一轮也要把成千上万个工具的描述塞进提示词,单轮固定成本可达 3 万–6 万 token。
- 一轮只做一件事:分块读取、逐值转换、每个阶段都插确认环节,轮数成为成本的最大乘数。
- 缓存前缀被打破:分类器「不确定」时兜底加载全部工具,一次误判的确认回复就可能触发 0.3–0.5 美元的缓存重建。
- 附件重复解析:大文件解析后内容永久留在上下文,子智能体还会把同一份数据再解析一遍。
核心方法:四层优化
- 领域感知加载工具:先建一张
领域 → 工具映射表,再用一个轻量分类器在主智能体启动前路由任务类型,只挂载该领域需要的工具。 - 轮次压缩:重复操作接受数组参数;预处理逻辑(日期转换、ID 生成、数据校验)放进工具内部;简单场景内联处理而非派发子智能体;合并检查点;写操作批量合并。
- 缓存稳定性:不确定时复用会话已有上下文;把「是 / 否 / 继续」等决策词当动作而非打招呼;子智能体继承父智能体的工具列表以共享前缀。
- 附件预解析:分类前就把文件解析成结构化数据,上下文里只留路径指针,主智能体直接按路径读取,不再重复调用解析工具。
适用边界
- 适用于多轮对话、加载工具 schema、处理上传文件的智能体;单轮无状态问答收益有限。
- 节省幅度(30%–80% 等)是典型值,实际取决于工具数量、轮次规模和缓存命中情况。
- 分类器本身是每条消息多一次调用,需保持便宜快速,否则省下的 token 会被路由开销抵消。
- 缓存稳定要求前缀逐字节一致,系统提示词或工具集任何变动都会失效。
使用场景
- 智能体挂了多个工具服务器,需要按任务类型加载对应工具而不是全量加载
- 需要分块读取大文件并逐值转换,希望压缩读取和转换的对话轮次
- 用户回复是、继续等确认词,需要避免被误判成打招呼而重建缓存
- 用户上传大文件,需要在分类前预解析一次,之后靠路径引用复用
适合人员
- 构建多轮对话智能体的后端工程师,希望控制每轮的 token 成本
- 优化智能体工作流的技术负责人,希望减少轮次和子智能体派发开销
- 处理用户上传文件的产品工程师,希望避免重复解析和上下文堆积
- 设计工具 schema 的开发者,希望让工具承担日期转换和数据校验等预处理