技能介绍

要解决什么问题

当 AI Agent 需要在真实桌面环境里点按钮、填表单、切窗口或读屏幕内容时，纯 API 往往够不着：目标应用没有接口，操作路径又依赖 GUI。Clawhub Desktop Control 把 OpenClaw 场景下的桌面自动化收成一套可编程接口，让 Agent 用坐标、快捷键和窗口标题驱动本机 UI，而不是只能「描述该怎么做」。

核心能力与用法思路

技能底层依赖 PyAutoGUI（鼠标键盘）、Pillow（图像）、PyGetWindow（窗口），可选 OpenCV 做 find_on_screen 模板匹配。

鼠标：move_mouse / move_relative 支持绝对/相对移动与贝塞尔平滑；click、drag、scroll、get_mouse_position 覆盖常见交互。
键盘：type_text 可调间隔或 WPM；press、hotkey、key_down/key_up 支持组合键与特殊键。
屏幕：screenshot 全屏或区域；get_pixel_color；get_screen_size；多显示器场景下坐标可能为负值。
窗口：get_all_windows、activate_window(title_substring)、get_active_window。
剪贴板：copy_to_clipboard / get_from_clipboard。

安全侧提供 failsafe（鼠标移到屏幕四角中止）、暂停、approval mode 确认、边界检查与操作日志；性能上可 duration=0 瞬时移动，但文档也提醒部分游戏/安全软件会拦截模拟输入。

适用边界

坐标系从左上角 (0,0) 起算；Windows DPI 缩放 可能导致落点偏差，需结合 get_screen_size() 与系统缩放排查。键盘输入要求目标窗口已获焦点，个别操作需管理员权限。failsafe 四角为 (0,0) 与屏幕对角，日常使用时勿误触；若自动化长跑可评估 failsafe=False（需自行承担风险）。