Windows 语义化桌面控制

坐标脚本为什么容易翻车

传统桌面自动化往往按屏幕坐标点击（例如「点 (100,200)」）。窗口移动、分辨率或 DPI 变化后，同一套脚本就会点错位置。更麻烦的是，脚本只能描述「点哪里」，很难表达「按名叫确定的按钮」这种人类直觉。

本技能怎么做

本技能走 Windows UI Automation（无障碍树） 路线：把按钮、输入框、菜单等当成有名称、类型和交互模式的对象。工作流大致是：

1. 观察（observe）：读取窗口无障碍树，为控件分配 @eN 等状态内引用，写入临时 state 文件。
2. 渐进披露：首屏只暴露根节点与直接子节点，深层用 search / expand / inspect 再展开，避免树过大。
3. 动作（act）：优先语义动作（Invoke、Toggle、ValuePattern 设值等），必要时才在允许时回退坐标点击；--headless / --ax-only 可禁止原始键鼠输入。
4. 浏览器：通过 Chrome/Edge 远程调试端口与 DevTools 协议控制网页，与桌面 UIA 路径分开。

设计思路与 pi-computer-use 一致，本实现为 Python、零编译，可在多种 Agent 运行环境里调用 scripts/ 下脚本。

适用边界

• 适合：设置、资源管理器、Office、标准控件业务系统、常见浏览器等带完整 UIA 树的 Windows 应用。
• 不适合：自绘 UI、游戏、DirectX 界面（无障碍树为空时只能退回截图+坐标方案）。
• 必须在本机 Windows 当前桌面会话运行；操作前先 observe，界面变化后需重新观察，@eN 引用可能失效。
• 真实点击、拖拽、按键等带 --confirm 门禁，执行前需向用户确认目标与风险。