技能介绍

大模型推理服务上线后，工程师常陷入三个典型困境：并发一高 TTFT（首 token 延迟）就飙升，GPU 算力闲置但 TPOT（生成速度）不达标，容量规划靠经验导致卡数浪费或不足。本指南不卖弄概念，而是从推理的两个阶段——Prefill（读题） 与 Decode（作答） 出发，拆解每个优化手段的原理、收益与代价，帮你建立可落地的优化决策链。

核心优化框架：从瓶颈到落地

先测量后优化：无基线数据的优化都是猜测。先采集 TTFT/TPOT/吞吐/排队深度四指标，定位瓶颈在 Prefill 还是 Decode 阶段。
五大优化手段：

- KV 缓存分页管理：像 OS 管理内存一样分配 KV 缓存，消除碎片，显存利用率提升后批大小可增大，吞吐自然上来。
- 连续批处理：请求随到随进批，完成即退出，吞吐数倍提升但单请求延迟轻微上升。
- 量化（W8/W4）：权重压缩省显存，Decode 提速明显，但复杂任务需评测精度损失。
- 前缀缓存：相同系统提示词的 KV 只算一次，长 prompt 场景 TTFT 大降。
- 张量/流水线并行：模型切到多卡跑超大模型，但通信开销大，非必要不并行。

按业务形态配置：

- 在线对话（保延迟）：限制最大批大小防排队，开前缀缓存，长 prompt 用分块 prefill 防阻塞。
- 离线批量（保吞吐）：批大小拉满，输入长度分桶排序，夜间闲时跑。
- 高并发 API（保稳定）：入口限流+排队上限，多实例+负载均衡，监控排队深度扩容。

容量规划快算法：显存账（权重+KV 缓存+20% 余量）+ 吞吐账（单卡实测 token/s 换算 QPS，乘峰值系数得卡数），纸面估算必须用真实流量分布压测修正。

适用边界与注意点

各推理引擎参数名与默认值随版本变化，以官方文档为准，本指南提供决策框架而非具体参数。容量估算为工程近似，生产扩容必须用真实流量压测修正——输入输出长度分布对结果影响巨大，切勿照搬纸面公式。量化后的精度损失需在具体任务上评测，复杂场景可能不可接受。优化时每次只调一个参数，压测对比并记录进配置台账，避免多参数同时调整导致效果混淆。