LocateAnything Win11 本地视觉定位

要解决什么问题

桌面自动化、RPA 或 AI Agent 往往需要先知道「屏幕上有什么、点哪里」。纯 OCR 或固定坐标在分辨率、主题和布局变化时很容易失效；把截图发到云端做视觉理解又带来隐私与合规成本。LocateAnything Win11 把 NVIDIA 的 LocateAnything（约 3B 参数视觉定位模型）跑在本机，通过 REST API 和 Web UI 返回检测框与标注图，适合在 Windows 10/11 上给 Agent 或脚本提供「看屏再行动」的能力。

技能如何工作

服务启动后默认在 http://localhost:8765 提供界面与 API，推理在本地 GPU 完成，数据不上传云端。

• 物体检测（/api/detect）：支持逗号分隔多类别，一次返回多个目标框。
• 文字检测（/api/detect-text）：定位图片中的文字区域。
• GUI 定位（/api/ground-gui）：找按钮、链接、输入框等 UI 元素；中文界面场景更建议走这条而非纯文字检测。
• 短语定位：用自然语言描述要找的内容。
• 标注下载：可返回带框标注的图片，便于调试与下游逻辑。

在 Hermes、Cursor、Claude 等助手中配置后，Agent 可直接调 API 做截图 → 定位 → 点击类流程；也可用 Web UI 拖图选功能快速验证。

适用边界与注意点

• 平台：仅 Windows 10/11；需 NVIDIA GPU（建议 8GB+ 显存，模型约 6GB，磁盘预留 20GB+）。
• 冷启动：首次请求会加载模型（约 60–80 秒），之后单次推理多在 0.3–1.5 秒量级（视 GPU 与任务而定）。
• 锁屏：Windows 锁屏后，依赖桌面截图的 API 无法访问用户界面。
• 服务形态：可用 start_headless.bat 静默后台运行，安装时可选择开机自启。