Agent Skills
返回列表
macOS 桌面控制器

macOS 桌面控制器

开发编程 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_2e438cd6/macos-desktop-controller-v1。

技能介绍

解决的问题

macOS 桌面自动化常被权限、UI 变化和应用状态打断。macOS Desktop Controller 面向 macOS 14.x，用 Python 调用 AppleScript、截图与 OpenCV 模板匹配，把“打开应用、点击元素、输入文本、执行流程”拆成可组合模块。

核心能力

  • 应用控制：启动、关闭、重启应用，管理窗口移动、缩放、最小化、最大化。
  • 精确交互：按坐标、元素 ID 或视觉识别点击，支持键盘输入、热键、拖拽、滚动。
  • 视觉控制：截取全屏、窗口或指定区域，基于截图做元素识别和模板匹配。
  • 工作流管理：串联多任务，加入条件分支、循环、错误处理和重试。

适用边界

它适合在本地 macOS 环境中做脚本化 UI 自动化，尤其是需要判断窗口状态、图像匹配或重复执行流程的场景。由于依赖系统权限和桌面 UI，元素定位可能受窗口遮挡、分辨率、DPI、动态 UI 影响；涉及密码、敏感数据或不可逆操作时，应使用调试模式和明确重试策略。

使用场景

  • 在本地 Mac 上批量启动、关闭目标应用，并调整窗口位置、大小和最小化状态。
  • 按坐标、元素 ID 或视觉识别点击按钮，再输入文本、热键、拖拽文件或滚动页面。
  • 截取全屏、窗口或指定区域，用 OpenCV 模板匹配确认按钮、状态文本或桌面元素是否出现。
  • 把应用控制、交互、视觉判断串成流程，加入条件分支、循环、错误处理和重试。

适合人员

  • 需要在 macOS 上脚本化控制桌面应用窗口、点击和输入的研发工程师。
  • 要把本地 UI 操作拆成可重复步骤、并加入判断与重试的自动化工程师。
  • 需要基于截图和模板匹配确认桌面元素状态的 QA 或测试人员。
  • 想调试 AppleScript、OpenCV 和 Python 桌面 UI 集成链路的平台工程师。