缓存命中
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md 的指引,安装 @user_14d44aca/llm-cache-lite。
技能介绍
为什么需要语义缓存
每次调用 DeepSeek API 都按 token 计费。在 AI 伴侣聊天或高频对话场景里,大量问题是语义相似甚至完全重复的——比如“你今天心情怎么样”和“你现在开心吗”,模型每次都重新计算一遍,费用也随之翻倍。语义缓存的价值在于:同样的问题,只让模型回答一次。
它是怎么工作的
缓存命中 是一个本地语义缓存插件,插入在 AI 助手和 DeepSeek API 之间。每次请求发出前,它会先做本地向量匹配:
- 命中缓存:相似度超过阈值,直接返回历史回答,不调用 API,零延迟、零成本。
- 未命中:正常调用 API,拿到回答后自动计算 embedding 并存入本地缓存。
- 把关人:内置规则判断,防止“撒个娇”这类无关请求误命中技术回答,避免返回错乱内容。
- 人设隔离:不同角色(比如女友、客服)的缓存分开存储,互不污染。
- 省钱统计:实时显示命中率和累计节省金额,量化效果看得见。
适用边界与注意点
- 免费版每天可写入 50 条新缓存,已有缓存的命中不受限制;7 天全功能试用期后仍可继续免费使用。
- 首次加载 Embedding 模型需下载约
80MB,请保持网络通畅。 - 缓存命中率随使用时间增长,建议持续使用一周以上再评估效果。
- 把关人基于规则判断,极端情况下可能误拦正常请求。
- 数据存储在本地,不上传服务器,适合对隐私敏感的场景。
使用场景
- 运营AI伴侣聊天应用时,每天处理大量相似问题,需要通过缓存减少DeepSeek API调用次数,降低token费用
- 开发高频调用DeepSeek API的助手时,需要自动存储历史回答,让相似问题无需重复调接口
- 管理多角色AI对话系统时,需要隔离不同角色的缓存,避免技术回答污染情感聊天场景
- 日常监控缓存使用效果时,需要实时查看命中率和节省金额,评估插件带来的成本下降
适合人员
- 开发AI伴侣聊天应用的工程师,需要在高频对话中降低DeepSeek API的token消耗
- 运营AI聊天产品的团队,需要通过缓存命中率和节省金额实时评估工具效果
- 开发多角色AI助手的开发者,需要确保不同角色的缓存互不干扰,避免回答错乱
- 高频调用DeepSeek API的技术人员,需要本地缓存机制减少重复请求的等待和费用