睇虾 ScreenClaw

问题

桌面 UI 自动化最大的不稳定来自坐标：窗口位置、分辨率、缩放、多显示器、弹窗层级都会让“猜坐标”失败。ScreenClaw 把截图、窗口列表和 API 返回当作事实，要求先定位、再操作、后验证，减少凭感觉点击。

工作方式

• 窗口级优先：先用 get_window_list 找到目标窗口，再用 screenshot 的网格坐标定位按钮、输入框或菜单；桌面图标、系统托盘和跨窗口拖拽则走 desktop_* API。
• 先证伪，再点击：对高风险坐标先用 crop_zoom_screenshot 放大局部，再用 marker 反验标记点是否落在目标元素上。
• 操作必须验证：click、input_text、press_key、drag 等调用后重新截图；跨进程或新窗口出现时重新 get_window_list。
• 模板与自检：复杂流程可沉淀为场景模板，固定窗口和坐标，动态部分保留截图定位；收到 SELF_CHECK_REQUIRED 时重载关键上下文并总结后再继续。

边界

它依赖本地 ScreenClaw 服务和可读截图；如果界面频繁变形、坐标数字看不清，或目标需要实时游戏级输入，需要先放大、换窗口级/桌面级路径，或进入托管模式。模板不是绝对正确的，失效时应降级到通用截图-定位-验证循环。