技能介绍

要解决什么问题

很多自动化场景仍依赖真实桌面应用：没有稳定 API、界面会改版、操作跨 macOS / Windows / Linux。纯脚本很难处理「点哪里、等加载、再读屏」这类闭环。本技能把 Midscene Computer CLI（npx @midscene/computer@1）接到 Agent 工作流里：每个 CLI 子命令对应一个 MCP 工具，由模型根据截屏决定下一步，而不是事先写死坐标。

如何工作

核心模式是 连接 → 健康检查 → 截屏观察 → act 执行 → 断开并汇报。act 在一次调用里可完成移动鼠标、点击/双击/右键、拖拽、输入或清空文本、滚动、按键与快捷键等多步 UI 交互；复杂任务宜用自然语言描述目标与期望结果，让 Midscene 在应用内自行串联点击与等待。

常用能力包括：connect 建立会话、list_displays 处理多显示器、take_screenshot 读取当前画面后再决策，以及用 tap --locate 配合参考图做精确定位（images + convertHttpImage2Base64）。视觉模型需通过环境变量或 .env 配置（如 Gemini、通义千问、豆包等），未配置时应先让用户补齐。

边界与注意点

同步执行：禁止后台跑 midscene；一次只跑一条命令，典型单次约 1 分钟，复杂 act 更久。
窗口策略：需要隐藏时最小化，除非用户明确要求不要关闭应用或窗口。
任务结束：必须主动总结结果、关键数据与截图路径，不能停在最后一步沉默结束。
环境与权限：macOS 需终端无障碍权限；截图黑屏常见于会话锁定，自动化期间宜用屏保而非锁屏；system_profiler 找不到时先补全 PATH。
实践建议：尽量先把目标应用置于前台再截屏确认；元素描述要具体（位置、颜色、邻近文案）；同应用内连续操作合并为单次 act 以减少往返。