UI 自动化助手
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_4474fe09/ui-auto 到 AI 助手中。
技能介绍
要解决的问题
当用户用自然语言描述“打开、点击、输入”等 UI 操作时,Agent 可能会自行改写文本、补全参数、重试失败或生成额外解释,导致执行行为难以复现。@user_4474fe09/ui-auto 把这类请求限制在固定脚本流程中,只按用户原文执行,减少模型临时发挥带来的不确定性。
工作方式
- 关键词触发:仅当指令包含
打开、点击、输入时执行;不满足则直接提示,不做自动化操作。 - 原文执行:空格、符号、大小写、URL 均保持不变,不删减、不补充、不改写。
- 输出回显:执行后展示脚本返回内容,并在结尾给出一句鼓励语。
- 依赖与失败处理:若提示缺少
seliky,自动安装该依赖后重跑原命令;若仍失败,仅给出友好提示,不重试、不截图、不补步骤。
适用边界
该技能适合指令明确、固定脚本可覆盖的 UI 自动化场景,不适合作为通用浏览器代理。它不会推断缺失条件、不会自动排查复杂定位问题,也不会在无关键词时执行操作。使用时应确保描述足够清晰,必要时自行补充 xpath 等定位信息。
使用场景
- 在 UI 自动化脚本调试时,让 Agent 按原文执行打开、点击、输入指令,不自动改写参数。
- 编写 UI 自动化用例后,用自然语言让 Agent 触发 `python uiauto.py` 执行打开、点击、输入步骤。
- 当缺少 `seliky` 依赖时,自动安装该依赖后重跑原命令,便于快速恢复 UI 脚本运行。
- 当 UI 脚本执行失败时,仅获得提示,可手动检查描述或改用 xpath 定位,避免自动瞎重试。
适合人员
- 维护 UI 自动化脚本的测试工程师,希望指令原文执行且不自动改写。
- 编写 UI 测试用例的工程师,需要用自然语言触发打开、点击、输入步骤。
- 调试 Python UI 脚本的开发者,想在缺少 seliky 时自动安装依赖并重跑原命令。
- 接手 UI 自动化项目的测试负责人,希望失败时不自动重试,便于人工排查。