Windows 桌面 AI 代理

要解决什么问题

在 Windows 上，很多日常操作仍依赖固定窗口、快捷键和截图确认：远程协助要打开 ToDesk、读设备码与临时密码；微信发消息要先唤起客户端再点到输入框。纯脚本难以覆盖「用户随口说一句话」的场景，而让人工逐步点鼠标又慢且难复现。

本技能把 Desktop Agent 做成可对话的桌面执行层：一部分走 预设任务（微信、ToDesk），另一部分走 自然语言——由 LLM 规划步骤后再在桌面上逐步执行。

如何工作

核心实现集中在 scripts/desktop_agent.py 的 DesktopAgent 类，典型能力包括：

• screenshot：截屏并返回路径，用于验证与 OCR 类场景
• click / press_key：坐标点击与按键（如 enter、escape、f1–f12）
• type_text：文字输入，优先级为 SendMessage EM_REPLACESEL → pyperclip + Ctrl+V → pyautogui.write（仅英文）
• find_on_screen：OpenCV 模板匹配定位界面元素
• open_app / list_windows：启动应用与枚举可见窗口

预设任务（推荐） 把高频流程写死成可触发话术。例如用户说「远程连接」「ToDesk」「连接你」时，按流程处理：设备代码来自本地配置（首次需查询），临时密码每次需截图识别。微信发消息前提为桌面客户端已登录且 Ctrl+Alt+W 可用；粘贴前必须先 click 输入框获取焦点，否则输入容易无响应。

自然语言任务 的内部链路为：LLM 规划 → 安全检查 → 逐步执行 → 截图验证。

适用边界与注意点

• 平台与依赖：面向 Windows 桌面；中文输入不要指望 pyautogui.write，应走剪贴板路径。
• 安全：pyautogui.FAILSAFE = True（鼠标移到角落可紧急停止）；对删除、格式化、关机等关键词有检测；单次任务 最多 20 步、超时 5 分钟。
• 排障：输入无响应先点输入框；微信快捷键冲突需确认未被占用；ToDesk 密码识别失败时重新截图并保证窗口在前台；截图路径建议用 C:\temp\ 或 C:\home\ 等英文路径避免保存失败。