技能介绍

问题背景

AutoPilot Composer 针对的是桌面与浏览器混合的长流程：打开本地应用、复制导出内容、在网页表单中填报、截图留痕，再反复批量执行。这类流程手写 task_flow.json 繁琐，录制成脚本后还常遇到中途失败只能重跑、元素定位脆弱、桌面与网页动作难以统一归档的问题。

工作方式

它把动作拆成可回放的步骤，主要由两类引擎执行：cdp_engine.py 通过 Chrome CDP 完成 open_url、input_text、click_elem、screenshot、hover、drag、key_press、upload_file 等浏览器操作；gui_engine.py 通过 pyautogui 完成启动软件、坐标点击、拖拽、组合键和图像识别点击。

录制侧提供三条链路：网页录制器可捕获点击、输入、拖拽、悬停、键盘、文件上传与页面跳转，并输出 task_flow.json 和 recorded_flow.js；桌面录制器面向 Windows 应用，输出 desktop_flow.json 与独立 pyautogui 脚本；合并录制会话能把网页与桌面动作按时间交错导出为统一流程，同时生成 SOP.md。回放时，main_task.py 依据 config.json 重试失败步骤，并把进度写入 breakpoint.json，修复后可从断点继续。v3.2+ 还引入 elements.json、preset_elements.json、operation_log.json，用多策略定位器和结构化日志降低页面改版带来的维护成本。

适用边界

该技能会真实控制鼠标、键盘和浏览器，应在受控环境或测试账号中使用。桌面坐标和 click_icon 对分辨率、窗口位置较敏感；CDP 通常附加到已打开的普通标签页，open_url 不会新建标签页；upload_file 只能记录文件名，回放端需要自行提供磁盘路径。录制出的 :nth-child 选择器建议人工替换为更稳定的 #id 或语义选择器。