Agent Skills
返回列表
🤖

上下文优化技术

AI Agent 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @org-02qudk26/context-optimization。

技能介绍

问题在哪

大模型 Agent 的上下文窗口是硬上限,不是「再堆 token 就能做完」:长对话里工具输出常常吃掉 80% 以上的轨迹,检索文档和早期轮次又叠在一起,成本、延迟和退化会同时上来。目标也不是把窗口「变大」,而是在同一上限里让信号多、噪声少。

技能在讲什么

本技能围绕四类可落地的策略组织工作流:

  • 压缩(Compaction):临近限制时对可分区内容做高保真摘要,用摘要重开窗口;优先级通常是工具输出、旧轮次、检索文档,不压系统提示。
  • 观察掩码(Observation Masking):决策已用过的冗长工具输出,用紧凑引用替换完整正文,需要时再取回。
  • KV 缓存优化:通过稳定前缀(系统提示、工具定义)与块级复用,减少重复推理的计算与等待。
  • 上下文分区:子代理在隔离上下文中做子任务,协调层只做综合,避免一条轨迹无限膨胀。

配套还有预算管理:给系统提示、工具定义、检索、历史与缓冲分配 token,并在利用率超过约 70%~80% 时按构成选策略(输出主导→掩码,历史主导→压缩,多组件→组合)。

边界与注意

压缩、掩码都有质量代价:资料中的经验区间是压缩约 50%~70% token 且退化控制在较低水平,掩码针对已「使命完成」的观察。掩码不是全删——当前任务关键、最近一轮、仍在推理中的观察不应掩码。分区最激进,聚合结果时仍可能要再摘要。上线前应先度量基线,并在生产规模验证退化与延迟,而不是默认「省 token 就等于更好」。

使用场景

  • 多轮工具调用后上下文逼近上限,需要在不丢关键决策的前提下对旧轮次与工具输出做压缩摘要
  • 生产 Agent 轨迹里工具返回占绝大多数 token,决策完成后要把历史观察改成引用以继续长任务
  • 系统提示与工具定义在各请求间相同,想通过前缀缓存与上下文排序降低重复推理的延迟与费用
  • 协调多个子代理处理检索与执行,希望子任务细节留在隔离上下文里、主代理只综合结果

适合人员

  • 维护长时运行 Coding Agent、对话轮次常顶满上下文窗口的后端工程师
  • 负责推理网关与批调度、要压 KV 缓存命中率和单请求 token 成本的机器学习平台工程师
  • 在框架层实现工具轨迹与记忆卸载、需按预算触发压缩与掩码的 Agent 运行时开发者
  • 做多 Agent 编排的产品工程团队,要把检索上下文关在子代理内、避免协调器上下文无限膨胀