安卓设备自动化
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/web-infra-dev-midscene-skills-android-automation。
技能介绍
要解决什么问题
在真机或 USB 调试设备上做 Android UI 自动化时,传统方案往往把脚本、选择器维护和图像比对拆在不同工具里;而 Midscene 的思路是:让具备视觉 grounding 的大模型看当前截图,再决定下一步操作。本技能约束 Agent 通过 npx -y @midscene/android@1 与设备交互,把 connect、take_screenshot、act、assert 等 CLI 当成与 MCP 等价的步骤,形成「截图 → 理解界面 → 执行/校验」的同步循环。
技能如何工作
典型流程按 SKILL 建议顺序走:连接设备 → 用 launch 或 ADB 把目标应用带到前台并截图确认 → 用自然语言 act 完成一串 UI 操作(单次 act 可覆盖点击、输入、滚动、系统 Back/Home 等)→ 用 assert 校验当前屏,或对 Toast、加载条等易消失状态先 record start 再在 assert --record 里比对 → 断开并主动向用户汇报结果与产物路径。
关键能力包括:按 --device-id 指定设备;--use-scrcpy 加速截图;tap --locate 配合参考图做精确点选;adb shell 执行底层命令;失败断言可自定义 --message;复杂定位可加全局 --deep-locate / --deep-think。技能强调 禁止后台串联多条 midscene 命令,每条需等输出(尤其截图)后再决策。
适用边界与注意点
运行前必须在环境变量或 .env 中配置支持视觉的模型(如 Doubao Seed、Qwen、Gemini 等),未配置时应提示用户而非硬跑。CLI 调用是无状态的,--use-scrcpy 等标志需在每次相关命令上重复传入。录屏验证需在独立前台终端跑 recorder,不能用 & 放后台。硬件侧常见问题(ADB 未授权、设备 offline、屏锁导致超时)需结合 adb devices、唤醒解锁等排障,再续跑 Midscene 步骤。
使用场景
- 真机回归某电商 App:从已启动的购物车页用一条 `act` 改地址、选支付方式,并用 `assert` 确认订单确认页文案出现。
- 需要校验「保存成功」Toast 在 2 秒内闪现:前台跑 `record start`,手动或第二终端触发保存,停录后对 manifest 做 `assert --record`。
- 用户贴了设置页 Wi-Fi 开关截图,要求点同一视觉位置:用 `tap --locate` 传入参考图与描述,避免泛化 `act` 点偏。
- 排查电量或服务状态时不想点 UI:对已连接设备执行 `adb shell`(如 `dumpsys battery`),再截图继续可视流程。
适合人员
- 负责 Android 版本发版的测试工程师,需要在多台 `adb devices` 真机上用自然语言断言复现用户报障路径。
- 维护混合栈移动端的开发,在模拟器无法复现的 OEM 屏上调试布局,希望 Agent 按截图逐步 `act` 而非手写 Espresso。
- 做视觉回归的 QA,手头有图标/启动器截图,要求与线上包像素级一致点选入口。
- 平台内嵌 Agent 的构建者,要把 Midscene CLI 工作流(含同步执行与结束汇报)写进技能约束,避免后台并发打断截图循环。