Agent Skills
返回列表
💻

本地大模型部署实战

开发编程 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @kunlungrowth/kunlun-local-llm-deployment-guide。

技能介绍

要解决什么问题

本地跑大模型时,最难的往往不是「装个 Ollama」,而是工程上缺一套可复用的抓手:推理服务的 PR 没人按同一标准审、方案文档 只堆功能不写选型理由、线上 OOM/超时 靠猜、在 vLLM / llama.cpp / 自研网关 之间拍脑袋。本技能把通用工程能力锚定在「本地大模型部署」语境里,用触发词路由到结构化交付物,而不是泛泛聊天。

技能如何工作

按意图进入六项能力,输入换成你的真实上下文即可:

  • 代码评审:给 diff/PR,产出分级清单(阻断 / 建议 / 可选),流程强调先读懂意图,再查正确性、安全与可维护性。
  • 技术方案 / 架构权衡:给需求与约束(GPU、并发、合规),产出含背景、目标、选型、风险的方案模板,或利弊 / 成本对比表。
  • 调试排错:给报错与运行上下文,走「稳定复现 → 隔离变量 → 证据 → 假设验证 → 修复回归」的定位树。
  • API 设计与工程规范:给资源与操作或技术栈,产出 REST 契约、错误码与反模式清单。

内置 代码评审、线上排错 两套工作流,以及技术方案与评审清单等输出模板;听到如 review、方案、又报错了、用A还是B 等触发词即切换对应能力,多项诉求可组合使用。

适用边界

纯方法论与模板,不接付费 API、不处理真实密钥(仅脱敏示例);评审与方案为辅助参考,合并与上线决策仍由负责人承担。不替代资质判断,也不鼓励绕过安全机制。

使用场景

  • 推理服务改动要合入主分支,需要按正确性、资源与安全维度做分级评审
  • 要在单机 GPU 与量化策略约束下写本地推理方案,并说明为何未选云端 API
  • 生产环境模型进程 OOM 或首 token 超时,需要可复现步骤与证据链再改配置
  • 团队在 vLLM、Ollama、llama.cpp 间选型,需要利弊、规模适用与运维成本对比表

适合人员

  • 负责内网推理网关与模型加载逻辑的后端,需要和前端对齐 REST 契约与错误码
  • 技术负责人要在有限显存下定量化方案与回滚策略,并写清架构取舍
  • 运维/DevOps 维护 GPU 节点上的推理进程,线上告警时要先复现再动配置而非盲改
  • 独立开发者自搭本地栈,希望用同一套清单做方案、评审与排错而不是零散提问