OpenAdapt GUI 工作流录制与回放
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_3c6cb52e/record-and-replay-governed-gui-workflows-with-openadapt。
技能介绍
解决什么问题
GUI 自动化脚本最大的痛点不是"写不出来",而是写出来之后不可靠。一次录制的操作,在界面改版、控件位移或网络延迟之后就会静默走错路径,而且错在哪里很难追溯。工程团队需要的不是一段能跑的脚本,而是一套可审查、可判定、可中止的重放机制——知道这次运行是该被认证通过,还是该因为环境漂移而被拦下。
这个技能基于 OpenAdapt,把"演示一次、重放多次"变成有治理约束的工作流。
核心能力
- 单次演示即编译:人工完整演示一遍浏览器或受支持的 GUI 流程,系统将其编译为确定性的 replay bundle,后续运行不再依赖人肉操作。
- 漂移检测与判定:当界面元素发生变化时,不再盲目继续执行,而是依据认证策略输出可审查的报告,认证通过或中止运行,决策依据留痕。
- 可选隐私脱敏:通过
openadapt[privacy]扩展接入 Presidio 支持的 PII/PHI 清洗,适合需要对外托管或共享的流程资产。 - 可选原生捕获:
openadapt[capture]扩展提供原生 GUI 捕获与录制能力,覆盖非浏览器环境。
关键步骤
- 准备环境:Python 3.10+、
openadapt flowCLI,以及浏览器目标或受支持的 GUI 环境。 - 人工演示一遍完整流程,编译器将其整理为确定性 bundle。
- 为流程配置认证策略,明确漂移时的判定规则。
- 重放时由系统比对界面状态,输出可审查报告并执行认证或中止决策。
适用边界
- launcher 要求
openadapt-flow>=1.7.0,<2,跨大版本升级前需确认兼容性;无头(headless)系统上的可用性取决于上游环境。 - OS 密钥链令牌存储需要额外的 hosted 安装路径;纯环境变量令牌配置仍是替代方案。
- 托管场景下,工作流产物(如截图、DOM 记录)需预先脱敏,否则重放 bundle 本身可能携带敏感信息。
- 该技能是引导与治理层,底层能力以 OpenAdapt 上游文档为准。
使用场景
- 测试工程师为桌面工具的固定操作路径录制一次回放包,供版本回归复用
- QA 负责人需要在界面改版后依据认证报告判定自动化流程是否仍然有效
- 运维团队需要在流水线中重放浏览器流程,检测到界面漂移时中止本次运行
- 合规负责人需要将包含截图与 DOM 记录的流程资产脱敏后再对外托管
适合人员
- 自动化工程师:需要可审查、可回滚的界面流程资产,而非一次性脚本
- 测试工程师:需要确定性的回归重放,失败时能定位到界面漂移点
- 合规与安全负责人:需要确认自动化流程不留存或外泄 PII/PHI 后才能上线
- 桌面工具维护者:需要把 GUI 操作封装为可共享、可托管的流程 bundle