Agent Skills
返回列表
🤖

LM Studio 本地模型

AI Agent 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/sundial-org-awesome-openclaw-skills-lmstudio-subagents。

技能介绍

要解决什么问题

智能体默认往往走云端或大厂商 API:延迟、费用、数据出境和「高赌注」场景下的合规压力都会上来。不少子任务其实只需要本地模型在质量上够用——草稿归类、轻量改写、简单推理,并不需要每次都调用专有接口。

本技能面向已在磁盘上部署 LM Studio 0.4+、并在 127.0.0.1:1234 开启 /api/v1 服务的场景,把「列模型 → 选型 → 可选加载 → 对话 → 可选卸载」收成一条可重复工作流,让 Agent 在触发后能稳定地把任务卸给本地端。

技能如何工作

实现遵循 SKILL.md 里的分步约定,核心在于和 LM Studio HTTP API 对齐,而不是再包一层黑盒 SDK。

  • Step 0 预检:GET /api/v1/models;非 200 或连不上即判定服务未就绪。
  • 列模型与已加载实例:解析 models[] 里的 key、type、loaded_instances、max_context_length、capabilities 等。若某模型已加载且满足任务,可直接进入对话;否则选定 key 并记下 loaded_instances[].id 供卸载。
  • 选型约束:视觉任务看 capabilities.vision;嵌入看 type=embedding;长上下文看 max_context_length。优先已加载实例,再在速度(小模型)与推理(大模型)间取舍;必要时 POST /api/v1/models/load,否则 JIT 在首次 chat 时加载。
  • 调用:通过技能目录内 node scripts/lmstudio-api.mjs <model> '<task>' [options] 发起请求;有状态对话时传入 --previous-response-id=,对应 API 的 response_id / previous_response_id。
  • 收尾:可按 instance_id(来自 loaded_instances[].id 或响应里的 model_instance_id)执行 POST /api/v1/models/unload;JIT 场景也可依赖 TTL 自动卸载。

脚本侧解析 chat 返回的 output(message 类型)→ content,并输出 model_instance_id、response_id、usage 等,便于 Agent 串联多轮或记账。

边界与注意点

  • 本地质量不够时别硬扛:应换模型或回到云端,技能文档也写明「quality suffices」才 offload。
  • model not found、服务端错误时回到 GET models 核对 URL(默认 lm_studio_api_url 为 http://127.0.0.1:1234)。
  • 显存吃紧时优先 unload 或选更小模型;instance_id 必须与当前 loaded_instances 一致,否则卸载会失败。
  • 认证为 Bearer lmstudio;需本机已安装 Node 以跑辅助脚本(也可用 curl 直调 API,但工作流以脚本为参考实现)。

使用场景

  • OpenClaw 子智能体要把草稿摘要交给本机已开的 LM Studio,而不是每次打云端计费接口
  • 需要在同一会话里多轮追问本地模型,并依靠 response_id 与 previous_response_id 维持上下文
  • 选型时要按任务区分视觉(capabilities.vision)、嵌入(type=embedding)与普通 chat 模型
  • 批处理前几类低风险的文本归类完成后,用 POST unload 释放 instance_id 占用的显存

适合人员

  • 自建 OpenClaw/多子智能体流水线、希望按任务自动切到 127.0.0.1:1234 本地模型的集成工程师
  • 在笔记本上跑 LM Studio 做敏感草稿处理、要求 Agent 走本地 chat 而非外网 API 的安全审查同事
  • 维护技能仓库里 lmstudio-api.mjs 脚本、需要把 load/JIT/unload 步骤写进 Agent 触发器的技能作者
  • 显存只有 8~12GB、需要在多模型之间用 loaded_instances 与 unload 控制占用的本地推理玩家