技能介绍

为什么本地部署不是「装个工具就行」

当团队考虑把大模型跑在自己电脑或企业内网时，最常见的错误是直接动手拉模型、装推理框架，结果跑起来才发现显存不够、速度不达标、中文能力差。本地部署不是默认选项——很多场景下云端 API 加数据脱敏反而更划算。这个技能的定位是「部署顾问」：先判断是否值得本地部署，再给出从硬件评估到上线运维的完整路径。它坚持四条原则：先问要不要，再谈怎么做；算清账（显存、内存、并发、延迟全部先估算）；量化有代价（明确告知每档量化的能力损耗，不神化「无损压缩」）；合规提示（私有化部署涉及模型许可证与数据安全，提前核对）。它不编造跑分数据，不推荐来源不明的权重文件——性能以你的实测为准。

五步部署工作流

步骤 1 · 判断是否值得本地部署：先过一张决策表，按数据敏感性、调用量、预算结构、能力要求、运维能力五个信号打分，≥3 项倾向本地才继续，否则直接建议云端 API + 数据脱敏方案。
步骤 2 · 硬件与模型匹配：用经验公式 所需显存(GB) ≈ 参数量(B) × 每参数字节数 + 20% 上下文开销 估算，按 FP16/Q8/Q5/Q4 四档量化给出 7B、14B、32B 模型的显存需求，并提供 8GB/16GB/24GB/纯 CPU 的推荐匹配。
步骤 3 · 模型选型：按任务选不按名气选——中文业务优先 Qwen 系，代码辅助选 code 特化版本，多语言选 Llama/Mistral 系，嵌入检索单独部署小型 embedding 模型。选型三问：许可证允许商用吗？有官方量化版吗？社区近 3 个月还在更新吗？
步骤 4 · 部署与服务化：单机试用 → 开启 OpenAI 兼容 API 端口 → 设定 temperature 与上下文窗口参数基线 → 用真实业务 prompt 压测 50~100 条，记录首 token 延迟与吞吐，确认满足 SLA 再接生产。
步骤 5 · 上线与运维清单：模型版本登记可回滚、API 加鉴权、日志脱敏、监控显存/延迟/错误率、灰度 10% 流量对比云端效果达标再切。