本地大模型全套部署

你在对抗什么

本地跑大模型时，常见痛点不是「缺教程」，而是链路太长：推理引擎、权重下载、Web 客户端、智能体框架各自文档分散，装完还要手动对齐 OPENAI_API_BASE_URL、端口和防火墙。中间任一环节断掉，往往要花一整天排查是引擎没起、客户端连错地址，还是 embedding 在国内拉不下来。

技能怎么跑通这条链路

触发后先问再动：用两个问题锁定部署范围（引擎 / 客户端 / 智能体 / 权重 / 全套）和使用场景（本机、局域网、对外服务、RAG/Agent 等），复述方案确认后连续执行，不再反复打断。

执行顺序大致是：

• 环境诊断：GPU/CPU、磁盘、Python 版本，汇总成表后继续
• 按矩阵选型：同一层只选一个（如 Ollama / llama.cpp / vLLM；OpenWebUI / LobeChat；Dify / FastGPT 等），参考内置 references/* 文档
• 下载与安装：国内优先镜像（如 hf-mirror、清华 PyPI），大文件带断点续传，下载过程定期汇报
• 启动与验证：引擎 /health 与 /v1/models → 客户端登录发消息 → 智能体最简工作流，必要时用 verify_service.py 自动检查
• 交付：生成 使用说明.md 与集中存放的启动脚本，列出开机顺序、端口与局域网地址

统一接口是 OpenAI 兼容 API（/v1/chat/completions），客户端和智能体都通过 base_url 指向同一引擎。

适用边界

技能面向「能在一台机器上装软件、改环境变量」的工程师；不能替用户跳过显存不足、缺 NVIDIA 驱动等硬阻断（会标 CPU 模式并警告）。沙箱或受限路径下写入可能失败，需在工作目录内建 venv。OpenWebUI 等对 Python 版本有上限；llama.cpp 新版的 flash-attn 参数需显式指定。完整踩坑清单见技能内的 mirrors-and-pitfalls.md，交付前会过一遍打通验证清单。