本地大模型部署指南

要解决什么问题

在本地或内网跑大模型时，常见卡点不是「能不能装」，而是显存够不够、该用 Ollama 还是 vLLM、量化选 Q4KM 还是 FP16，以及 OOM、加载失败、推理慢时该改哪几个参数。本技能面向推理部署，根据你提供的 GPU 型号、显存、内存和模型规模（如 7B、70B、DeepSeek），输出可执行的部署方案，而不是泛泛的教程链接。

技能如何工作

流程从最小信息集开始：硬件（GPU/显存/内存）、模型需求（参数量、是否量化）、场景（单卡/多卡、是否要 OpenAI 兼容 API）。随后会做显存粗算（例如 FP16 下 7B 约 14GB，Q4 约 4.5GB），再按显存区间推荐工具栈：小显存偏向 llama.cpp + GGUF，中等显存 Ollama 或 vLLM，大显存或多卡 vLLM + tensor-parallel。输出通常包括：

• 参数建议：context_length、gpu_memory_utilization、max_batch_size 等
• 启动方式：裸机或 Docker 的可执行命令
• API 示例：curl / Python 的 OpenAI 兼容调用
• 排障路径：显存不足、模型路径缺失、端口冲突等对应步骤

适用边界与注意点

• 只做推理部署：不包含训练、微调、LoRA；不代你下载模型，需自备文件或 HuggingFace 模型 ID。
• GPU 侧重 NVIDIA CUDA：AMD/Intel 底层驱动不在范围内；Mac 仅覆盖 Apple Silicon + MPS，且更适合小模型量化。
• 单机多卡可支持，多机分布式不在能力内；模型输出事实性内容需人工复核。

信息不全时会按错误码式引导补采（如未提供 GPU 型号），超出边界会明确说明原因，不强行给出不可行方案。