Agent Skills
返回列表
麒麟系统电脑操控

麒麟系统电脑操控

AI Agent 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_8759cf15/computer-use-kylinos

技能介绍

解决麒麟系统 GUI 自动化的协议与缩放痛点

在银河麒麟系统上实现图形界面自动化时,开发者常面临底层显示协议分裂与 HiDPI 缩放带来的坐标偏移问题。V11 默认采用 Wayland 协议,而 V10SP1 仍停留在 X11,两者在窗口控制和输入注入上存在根本差异。此外,高分屏缩放和多显示器环境进一步加剧了坐标计算的复杂性,导致传统的绝对坐标点击经常失效。

核心机制与执行流程

该技能通过一套标准化的流程屏蔽底层差异。首先执行 OS 探测,自动将任务路由至 wlcctrl(V11/Wayland)或 xdotool(V10SP1/X11)后端。在坐标处理上,技能严格区分逻辑坐标与物理像素:

  • V11 (wlcctrl):鼠标移动需乘以输出缩放因子 S,但窗口移动 --windowmove 则直接使用逻辑坐标。
  • V10SP1 (xdotool):所有坐标均为纯屏幕像素,不涉及缩放因子。

在交互策略上,技能遵循一系列工程化准则:优先使用键盘快捷键而非鼠标点击;在窗口当前位置截图并基于图像识别目标点;控制滑块时使用小幅度拖拽代替滚轮以防止数值跳跃;缓存窗口几何信息以避免重复探测带来的性能损耗。

适用边界与避坑指南

使用该技能时需特别注意 wlcctrl 的文档陷阱:其 man page 错误地将 --mousemove 和 --windowmove 描述为相对位移,实际两者均为绝对坐标。在多显示器场景下,若窗口几何信息是相对于某个输出设备的,必须先将该输出的位置偏移量加到目标坐标上。

此外,V11 环境下的 CapsLock 等锁定键状态切换不可靠,需改用 ydotool。V10SP1 环境不支持分数缩放,且截图功能依赖 ImageMagick 的 import 命令。如需了解更多快捷键别名、多步测试模式及 X11 特定注意事项,建议深入阅读 references/details.md。

使用场景

  • 在麒麟V11 Wayland环境下,需要通过kaiming工具快速启动指定GUI应用并获取窗口信息
  • 在麒麟V10SP1 X11环境中,需通过截图识别界面按钮位置并执行精准点击操作
  • 多显示器配置下,需将部分超出屏幕范围的窗口移动到合理显示区域
  • 控制GUI界面中的数值滑块时,需用小幅度拖拽代替滚轮防止数值跳跃

适合人员

  • 麒麟系统下的QA工程师,需要在V11和V10SP1版本上执行GUI自动化测试用例
  • 开发跨版本麒麟桌面应用的开发者,需要处理不同显示协议下的输入注入逻辑
  • 负责麒麟系统运维的技术人员,需要远程控制客户设备上的GUI界面完成配置操作
  • 开发Linux桌面自动化工具的工程师,需要适配麒麟系统特殊的坐标缩放与窗口管理机制