技能介绍

要解决什么问题

私有化部署大模型时，算力采购往往卡在「业务语言」和「并发公式」之间：法务说的「50 项合同审查」可能是 1 次长上下文调用，也可能是 50 路并行、每路都要读全文——两种假设下的 prefill 峰值 可以差一个数量级。同样 monthly 30 万条数据，集中在 4 小时窗口跑批和 7×24 均匀到达，对 QPS 的要求也完全不同。本技能把评估做成可复现的向导流程：从场景描述出发，而不是从默认用户数表出发。

技能如何工作

场景隔离：每轮新功能从 Step 0 清空上一场景参数，避免「和上一个共用用户池吗」这类信息传染。
链路先行：先用 3～4 个业务问题弄清谁用、多频繁、能否等；再映射 LLM 调用次数、输入输出 Token 量级，并自动判断 流式（模式 A） 与 批式（模式 B），确认后选用不同吞吐公式。
并发爆炸检查：对「X 项检查 / 逐项审查」类场景，单独确认独立性、并行策略与上下文粒度，防止低估并行路数。
双路径量化：实时交互走用户规模 → 在线率 → 并发；有业务数据则走 数据量倒推（月量级、有效小时、突发系数、calls_per_record 均来自用户描述，脚本侧无默认值）。
小模型旁路：OCR、传统分类、ASR 等标记为小模型后跳过 Token 与 LLM 选型，按 QPS / 并发直接映射 CPU/GPU。
勉够选型与汇总：LLM 按链路分步推荐 7B～72B；多场景汇总时共享算力取各场景需求 最大值 再乘经验系数；数值一律经 scripts/calc.py（step2 / step5 / tflops / mixed）计算，禁止模型手算。

适用边界与注意点

技能面向评估与报告，不替你做架构拍板：用户坚持「50 路并行且每路全文」时仍按用户选择记录，但应在报告注意事项里标注 prefill 峰值风险。模型精度默认 FP16；若模型仅 FP8 权重，后续计算需显式走 FP8。混合部署 vs 统一部署的对比在汇总阶段给出，采购价应优先联网核实，超时回退静态参考时须在报告中声明数据来源限制。