技能介绍

它解决什么问题

移动端自动化常见路径是把设备接到主机，依赖 ADB、截图脚本、UI 自动化库或云手机；一旦任务涉及多步 App 操作，流程容易变得零散，模型推理也可能离开设备。这个技能面向设备上的 Android 控制循环：在设备端持续查看屏幕、判断下一步动作，并本地执行 App 操作，适合移动自动化与测试工作流。

它如何工作

技能围绕 PokeClaw 的控制循环组织。运行时需要 Android 设备或模拟器，以及项目记录的运行时依赖；资料描述的部署形态包含主机侧 Python CLI/容器承载循环，并通过 ADB/端口转发与设备上的 Portal APK 通信，Portal APK 使用 Android 无障碍能力获取界面树和手势。控制流程会检查当前屏幕，把界面状态交给模型决定操作，然后执行点击、滑动或应用内操作。默认可在设备上运行 Gemma 4，形成本地私有手机控制路径；遇到更难任务时可切换可选云模型增强推理。任务运行时不需要连接计算机。

适用边界与注意点

它适合设备端可访问界面状态、且希望减少主机/云依赖的 Android 自动化场景。注意：任务状态可能泄漏到下一次运行，因此调用方需要做好状态隔离和幂等设计；模型下载、存储或 LiteRT 启动失败会导致模型无法运行；可选云模型会改变隐私边界。Portal APK 的界面树/手势获取依赖无障碍能力，复杂 App、系统弹窗和非标准控件仍可能需要额外处理。