LLM Token 用量预测器

问题：平均账单掩盖了真实峰值

在 LLM 生产环境中，按月看 Token 平均用量往往看不出真正的风险。模型调用量会随业务波动，缓存命中率、推理 Token、工具调用和重试放大都可能让某个时间窗的 tokens per minute（TPM）远超月均。如果只盯总账单，很容易在需求高峰撞上供应商配额，出现限流或故障转移。

技能如何工作

这个技能围绕可观测负载做预测，而不是给一个乐观平均值。它会：

• 收集工作负载画像：按输入/输出 Token 的 P50/P95/P99、并发、重试率、工具/模型子调用拆分请求。
• 区分计费或限额口径：将未缓存、缓存读、缓存写、推理、媒体和生成 Token 分别统计。
• 预测多场景：按低/基准/高增长给出每日、每月总量，以及每分钟 Token 与请求数。
• 独立建模峰值：将峰值窗口、突发因子与总用量分开估计。
• 计入放大效应：考虑重试、故障转移，以及重复的局部生成。
• 对比配额：把预测峰值与供应商配额比较，计算余量和故障转移容量。
• 持续校准：用实测用量修正模型，并报告预测误差。

输出与适用边界

输出会包含假设、工作负载表、月度总量、峰值 TPM/RPM、配额余量、不确定性范围和最大敏感度因子。若缺少遥测数据，技能会明确标记缺口，而不是伪造精度。它适合已有基础用量数据、需要容量规划或配额评审的团队；若调用模式完全不可观测，预测只能作为假设性上限，不能替代压测和真实监控。