提示缓存优化器

解决什么问题

在长周期的 AI Agent 会话中，开发者常面临两个痛点：一是每轮请求都要重复发送庞大的参考内容，导致响应延迟增加；二是重复上下文的计费远超模型生成本身。虽然多数运行时支持 Prompt Caching，但它只对字节级稳定的前缀生效。一旦稳定的头部因任何变动而失效，整个缓存都会作废，之前的成本控制策略也随之失效。

如何工作

本技能的核心是通过工程化手段重构上下文结构，使其天然适配缓存机制：

• 稳定前缀优先：将庞大的参考内容放在顶部。仅包含每轮必读且不变的内容，例如 schema、风格指南或符号索引。
• 易变内容置底：时间戳、随机 ID 和实时工具结果必须放在最后。
• 确定性排序：严禁在缓存区注入 uuid 或频繁更新的列表。即使在缓存区，也应保持缓存块精简。

此外，你可以通过执行 scripts/cache_layout.py 对上下文块进行审计。它会按稳定到易变的顺序自动排序，并精准标记那些错误放置的易变块。

适用边界

并非所有运行时都支持缓存，请先确认平台策略。对于小于 1k token 的小块内容，收益通常微乎其微，建议将优化重点放在大型参考文档上。