技能介绍

为什么要加一层缓存

在真实的对话场景里，Kimi 收到的请求有相当比例落在重复模式上：解释一段代码、定义一个概念、做一次结构化分析、翻译一段文本。这类请求每次进入实时推理，都要重新走一遍完整的推理链，带来明显的首字延迟和算力开销。当同一类问题被反复询问时，这部分开销几乎是纯浪费——模型明明可以识别出「这个问题我答过很多次」，却仍然每次都从头算起。

技能如何工作

意图缓存命中：自动识别高频问题模式（代码解释、概念定义、数据分析、翻译等），匹配后直接调用优化后的响应模板，减少实时推理开销。缓存键由三部分构成：问题类型 + 上下文特征 + 输出格式要求。

分层响应策略：

L1 极速：常见问题或明确指令，走模板化直接输出，模板经过预校验
L2 快速：结构化问题，采用框架填充式响应，并做逻辑完整性检查
L3 标准：复杂或创新问题，执行完整推理链并做多步验证

上下文预加载：预先加载常用知识域，如编程语言核心概念、常见算法、通用业务逻辑，减少重复检索与上下文构建的时间。

质量保障规则：

绝不牺牲正确性：缓存响应必须经过事实准确性校验
上下文感知：命中缓存前仍需检查用户特定上下文是否匹配
动态降级：检测到模板不适用时，自动降级到完整推理
反馈学习：记录缓存 miss 原因，持续优化缓存规则

配套文件：缓存规则位于 rules/ 目录（如 rules/code_patterns.json、rules/concept_patterns.json、rules/analysis_patterns.json），响应模板位于 templates/ 目录（如 templates/code_explain.md、templates/concept_define.md、templates/quick_analysis.md），便于按问题类型分别维护。

适用边界与注意点

这套机制的前提是请求确实属于高频、模式化的类型。对从未出现过的提问、跨多个领域的组合问题，缓存会 miss，此时仍走完整推理链——不但不会更快，缓存检查本身还会带来少量额外开销。另外，L1 层级的质量下限由模板质量决定：模板过时或校验不足，会直接反映到输出上。保持 templates/ 与 rules/ 文件的更新，是这套策略长期有效的前提。