技能介绍

要解决什么问题

很多自动化需求并不是「写一段脚本就能跑」：窗口是谁、页面处于加载还是错误态、点错区域会不会误触支付——这些都要在真实桌面上确认。本技能把 Agent 放在「工程师」角色：理解你的自然语言目标、规划步骤、处理不确定分支；具体的窗体枚举、屏幕识别、坐标操作和结果落盘，交给本机安装的屏幕自动化小助手完成。

交付方式分两条路，不必先建流程：

当前任务：在对话里完成一次查看、整理或点击类操作，先确认目标窗口，不确定时不盲动。
自动化流程：当步骤重复、要定时或交给他人跑时，再沉淀为可运行、可维护、可停止和可升级的 workflow.md（必要时加受限的 workflow.py）。

技能如何工作

职责拆分很清晰：Agent 负责目标、页面含义和业务条件；小助手用窗口信息、文字、轮廓、颜色与模板等本地方法定位可见元素，并在状态已确认后执行鼠标、键盘、剪贴板与保存。

对话内任务会建立任务级窗口上下文——后续读取不会默认退回「当前前台窗口」。典型闭环是「观察 → 操作 → 验证」：用 task-find、task-wait、点击/滚动/输入/热键等能力，界面变化后重新观察；结束任务时释放上下文。

要做可重复流程时，必须按包内 references/workflow-standard.md 开发：先 status/capabilities/health 确认真实环境，再写完整 workflow.md，经 inspect、validate、install 与有人监督的首跑验收。定位优先组合标题、文字位置、模板与状态变化，而不是单一绝对坐标；正式流程里倾向 ctx.locator.find / wait_for，遇到歧义或窗口变化应停止而非猜测点击。

边界与注意点

平台差异：Windows 与 macOS 各用包内 workflow_dev.ps1 / workflow_dev.sh；能力以本机 capabilities 返回为准，勿把另一平台的连接器能力当成已具备。
安全：不代做验证码、授权、支付、发布或删除；未确认目标窗口与成功标志前不改变界面。
表达：对普通用户用产品语言（如「本地屏幕视觉技术」），仅在用户追问原理或排障时再展开 OCR、CLI 等术语。
找不到桌面端时需用户自行安装免费小助手；不得静默下载或绕过小助手直接用其他工具控键鼠。