LM Studio 本地模型
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/sundial-org-awesome-openclaw-skills-lmstudio-subagents。
技能介绍
要解决什么问题
智能体默认往往走云端或大厂商 API:延迟、费用、数据出境和「高赌注」场景下的合规压力都会上来。不少子任务其实只需要本地模型在质量上够用——草稿归类、轻量改写、简单推理,并不需要每次都调用专有接口。
本技能面向已在磁盘上部署 LM Studio 0.4+、并在 127.0.0.1:1234 开启 /api/v1 服务的场景,把「列模型 → 选型 → 可选加载 → 对话 → 可选卸载」收成一条可重复工作流,让 Agent 在触发后能稳定地把任务卸给本地端。
技能如何工作
实现遵循 SKILL.md 里的分步约定,核心在于和 LM Studio HTTP API 对齐,而不是再包一层黑盒 SDK。
- Step 0 预检:
GET /api/v1/models;非 200 或连不上即判定服务未就绪。 - 列模型与已加载实例:解析
models[]里的key、type、loaded_instances、max_context_length、capabilities等。若某模型已加载且满足任务,可直接进入对话;否则选定key并记下loaded_instances[].id供卸载。 - 选型约束:视觉任务看
capabilities.vision;嵌入看type=embedding;长上下文看max_context_length。优先已加载实例,再在速度(小模型)与推理(大模型)间取舍;必要时POST /api/v1/models/load,否则 JIT 在首次 chat 时加载。 - 调用:通过技能目录内
node scripts/lmstudio-api.mjs <model> '<task>' [options]发起请求;有状态对话时传入--previous-response-id=,对应 API 的response_id/previous_response_id。 - 收尾:可按
instance_id(来自loaded_instances[].id或响应里的model_instance_id)执行POST /api/v1/models/unload;JIT 场景也可依赖 TTL 自动卸载。
脚本侧解析 chat 返回的 output(message 类型)→ content,并输出 model_instance_id、response_id、usage 等,便于 Agent 串联多轮或记账。
边界与注意点
- 本地质量不够时别硬扛:应换模型或回到云端,技能文档也写明「quality suffices」才 offload。
- model not found、服务端错误时回到
GET models核对 URL(默认lm_studio_api_url为http://127.0.0.1:1234)。 - 显存吃紧时优先 unload 或选更小模型;
instance_id必须与当前loaded_instances一致,否则卸载会失败。 - 认证为 Bearer
lmstudio;需本机已安装 Node 以跑辅助脚本(也可用 curl 直调 API,但工作流以脚本为参考实现)。
使用场景
- OpenClaw 子智能体要把草稿摘要交给本机已开的 LM Studio,而不是每次打云端计费接口
- 需要在同一会话里多轮追问本地模型,并依靠 response_id 与 previous_response_id 维持上下文
- 选型时要按任务区分视觉(capabilities.vision)、嵌入(type=embedding)与普通 chat 模型
- 批处理前几类低风险的文本归类完成后,用 POST unload 释放 instance_id 占用的显存
适合人员
- 自建 OpenClaw/多子智能体流水线、希望按任务自动切到 127.0.0.1:1234 本地模型的集成工程师
- 在笔记本上跑 LM Studio 做敏感草稿处理、要求 Agent 走本地 chat 而非外网 API 的安全审查同事
- 维护技能仓库里 lmstudio-api.mjs 脚本、需要把 load/JIT/unload 步骤写进 Agent 触发器的技能作者
- 显存只有 8~12GB、需要在多模型之间用 loaded_instances 与 unload 控制占用的本地推理玩家