Rebind 电脑全自动控制

要解决的问题

当任务依赖图形界面、老旧软件、系统设置面板或浏览器前台流程时，传统 CLI/API 往往无法覆盖。人工点按容易重复，直接写脚本又难以处理界面变化。此技能面向这种“需要像人一样看屏幕并操作键鼠”的场景，把本机 GUI 自动化变成 Agent 可调用的工具链。

技能如何工作

它基于 Rebind 可编程输入层和官方 MCP Server，将“截图感知—规划—行动—校验”封装为 MCP 工具。典型闭环如下：

• 感知：调用 screenshot、screenshot_window 或 zoom 获取当前屏幕状态。
• 规划：根据图像与目标判断要点击的元素、输入文本、滚动位置或窗口切换。
• 行动：使用 move_mouse、click、type、key、scroll、window，或 run_lua 执行复杂编排。
• 校验：再次截图确认动作生效，未达标则回到规划重试。

相比需要付费账号或特定系统会话的方案，它强调本机回环 WebSocket 与免费跨平台运行，适合 Windows、macOS、Linux 的受信任桌面环境。

适用边界与注意点

该技能默认面向本地受控场景：远程访问只监听本机回环地址，截图仅用于本地决策。涉及付费、删除、对外发送、密码输入等动作时，建议开启人在环确认。破坏性操作默认被拦截，复杂流程仍需先检查 run_lua 与工具参数，避免把不可逆操作交给全自动模式。