MedXpert医械大模型图书馆

要解决的问题

很多人一提本地跑大模型，就默认需要 RTX 4090、64G 内存、几万块的工作站。这个技能要拆掉的就是这道门槛：8G 内存、没有独显的旧笔记本，也能跑 Qwen2.5:3B 级别的模型，做摘要、分类、检索、问答这类知识库的日常操作。另一个常被忽略的问题是数据出口——文档喂给云端 API 就要过一遍别人的服务器，而完全本地的方案对医械资料、合同这类敏感内容更可控。技能把「跑起来」和「管起来」放在同一条链路上，而不是只教你怎么装一个模型。

它是怎么工作的

整条链路可以拆成五个环节，文档里每环有独立章节：

• 环境自查：quickstart.py doctor 一次检查 Python、依赖、Ollama、磁盘、知识库五项，失败直接给修复命令，修完重跑复检。
• 本地模型：默认走 Ollama，一条命令拉起模型；进阶可选 LM Studio（带图形界面）或 llama.cpp（最轻量）。中文任务首选 Qwen2.5 系列，Q4 量化后 3B 模型约占 4G 内存。
• 个人知识库：三档任选——纯文件系统加脚本、RAG 工具、自建 Pipeline，不强制上框架。
• 前端界面：DSH 提供类似 ChatGPT 的本地界面，支持多轮对话和工具调用；已知坑点是要给 pi-ai 库打 calculateCost 补丁，否则会返回 EMPTY_RESPONSE。
• 多模型分工：小模型做粗活（快速筛选），Qwen2.5VL 看图片，Qwen2.5:7B/14B 做中文摘要，bge-m3 转向量，DeepSeek-R1 做交叉验证和深度分析。

可靠性上做了几件具体的事：网络抖动和 Ollama 假死自动重试三次（指数退避）、报错给出人话原因和解法、空文件和非 UTF-8 自动跳过、知识库查不到就明确说未找到而不编造。

适用边界与注意点

• 3B~7B 能胜任摘要、分类、检索、问答，但复杂推理和长链条逻辑仍是弱项，需要时再上 14B 或推理型模型。
• 4G 内存只能跑 0.5B~1.5B，体验偏慢；推荐配置是 16G 跑 7B。
• 模型体积和内存占用按 Q4 估算，实际还要给系统和上下文留余量，经验法则是运行内存约等于模型体积的 1.5 倍。
• 商业变现部分（会员、咨询、B 端定制）属于运营建议，不是技术保证，收入取决于内容质量和渠道。