技能介绍

问题背景

大模型按 token 计费，长系统提示、重复文档和相似用户问法会反复消耗同一批上下文。传统键值缓存假设「相同输入 → 相同输出」，但 LLM 场景里前缀可复用、温度会改变采样、语义相近的查询往往应命中同一份缓存。若只在应用层做简单 memo，容易要么漏掉 Anthropic 等厂商的原生前缀缓存，要么在高温度下缓存错误答案。

技能如何工作

本技能把角色定位为「缓存专家」，强调在前缀、完整响应或两者结合的层级做决策，并配套失效策略。核心能力包括：

提示缓存：对重复前缀使用 Claude 等提供的原生提示缓存能力
响应缓存：对相同或语义相似的查询缓存完整 LLM 响应
KV 缓存与 CAG（缓存增强生成）：在提示中预缓存文档，用预置上下文替代部分 RAG 检索路径
缓存失效：明确何时因前缀变更、时间推移或业务规则使条目失效

模式上区分 Anthropic 提示缓存、响应缓存与 CAG；反模式包括在高温度下缓存、不设失效、无差别缓存全部内容。

适用边界与注意点

| 风险 | 说明 |
|------|------|
| 未命中 | 未命中时的延迟与额外开销往往比命中优化更伤体验，需单独优化 miss 路径 |
| 陈旧响应 | 缓存答案随时间失真，必须实现合适的 TTL 或版本/前缀驱动的失效 |
| 前缀结构 | 随意改 system prompt 会导致前缀缓存整段失效，提示结构应便于稳定前缀段 |

与 context-window-management、rag-implementation、conversation-memory 等技能组合时，需分清「检索进上下文」与「预缓存进提示」的边界，避免重复堆叠上下文。