桌面自动化 Pro

要解决什么问题

桌面自动化常见痛点是：脚本只能按固定坐标点，窗口一改版、分辨率或 DPI 一变就失效；纯截图让模型「看」界面，却缺少可点击的像素坐标；任务稍长又缺少「这一步成了没有」的闭环。本技能把 Agent 当成会规划、会看屏、会改策略的执行者，而不是一次性宏录制。

技能如何工作

整体遵循 感知 → 思考 → 行动 → 验证 循环：

• 任务规划：首轮把用户意图拆成可验证的步骤列表（如单独一步打开应用、单独一步搜索），用 current_step 跟踪进度，后续轮次尽量保持步骤不变。
• 三通道感知：推荐一次 sense 同时产出 EasyOCR 文字坐标、YOLOv8 图形/UI 检测、以及不缩放、高压缩 JPEG 截图；文字找按钮文案，图形找无字图标，截图补全视觉上下文，坐标统一为整屏绝对像素。
• 行动层：通过 mouse_ops.py、keyboard_ops.py、window_ops.py、app_ops.py 等脚本执行；优先系统命令/快捷键，必要时再点坐标；界面大变（开应用、跳页）后必须再 sense。
• 反思与恢复：对照 OCR/YOLO/截图判断成败；失败时按文档矩阵重试（双击、重新 sense、激活窗口、滚动、YOLO/locate 补定位）；同一操作连续 2～3 轮无进展则换策略，4 轮仍卡住则向用户说明。

适用边界与注意点

• 环境：依赖 Python 侧 pyautogui、easyocr 等；macOS 需辅助功能与屏幕录制权限；EasyOCR 首次会拉语言模型。
• 可靠性：避免靠双击桌面图标或任务栏打开应用；打开应用更推荐 Spotlight（macOS）或 Win 搜索（Windows）。
• 安全：鼠标移到屏幕左上角可触发 pyautogui 紧急停止；删除文件、改系统设置等危险操作需先向用户确认。