LLM 上下文容量规划器
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_b26bd65e/llm-context-capacity-planner-b26bd65e。
技能介绍
很多团队在设计大模型工作流时,会直接把模型宣传的上下文长度当成可用额度,却忽略了三个现实问题:供应商对实际调用场景的限制可能小于广告值;输出 token 需要提前预留,否则长回复会挤掉输入空间;系统提示、工具 schema、检索结果等隐性开销往往没有单独计量。这个技能要解决的就是在写第一行业务代码前,把上下文预算算清楚,并定义好超限后的确定性行为。
工作方式
它按七步流程把模糊的"上下文够不够"变成可验证的预算表:
- 先确认输入上下文、最大输出、供应商上限、
tokenizer以及工具和 schema 的额外开销 - 优先预留输出 token,再留出至少 10% 的安全余量;如果有实测数据支持,可以降低这个比例
- 把剩余输入额度分配给系统策略、用户请求、对话历史、检索内容、文件和工具结果
- 按权威性、相关性、时效性和可替代性给内容排序,方便后续取舍
- 定义确定性溢出行为:拒绝、摘要、重新检索、分块或截断低优先级内容
- 明确不静默截断的内容:安全策略、用户意图、必需 schema、引用来源和未完成的工具状态
- 用多语言和代码密集样本测试 P50、P95 和最坏情况下的 token 负载
输出
最终给出一张 token 预算表,各项分配之和等于实际可用上限;同时输出溢出决策树、可观测字段和验收测试用例。它严格区分字符数和 token 数,并标注 tokenizer 估算来源,避免把字符长度误当成 token 消耗。
适用边界
它不是运行时监控工具,也不是 tokenizer 的替代品。估算值会随 tokenizer 和文本分布变化,多语言或含大量代码的输入需要实际验证。不同供应商的限制可能随模型版本或接入方式变化,规划前要确认当前环境下的真实上限。安全余量和内容优先级是工程决策,技能提供流程和验证方法,不替你做业务判断。
使用场景
- 把长文档问答接入大模型前,需要确认输入、输出与供应商限额下的真实可用 token 额度
- 对话历史、检索结果和工具输出同时进入提示词时,需要为各部分分配 token 预算
- 多语言或代码密集输入频繁触发超限,需要确定摘要、截断或拒绝等确定性降级行为
- 上线前需要用 P50、P95 和最坏情况负载验证预算表,并补齐可观测字段与验收测试
适合人员
- 负责接入大模型 API 的后端工程师,需要先算清上下文预算再编写业务逻辑
- 设计对话式产品的工程师,需要为历史消息、检索内容和工具结果合理分配 token 额度
- 维护 Agent 工具调用流程的开发者,需要防止工具状态、schema 或引用被静默截断
- 负责制定团队上下文规范的技术负责人,需要预算表、溢出决策树和验收测试的参考模板