跨系统桌面沙箱运行计算机使用代理

要解决的问题

计算机使用代理要在真实的图形界面里完成任务：读取屏幕、点击按钮、输入文本、执行命令，并把结果反馈给上层模型。如果你在本地直接跑，会遇到几个麻烦——不同操作系统的桌面环境不一致，行为难以复现；多平台回归测试要准备多台机器；自动化实验需要隔离，避免污染开发环境。

技能如何工作

这个技能把“运行环境”从你的笔记本里抽出来，放到跨操作系统的桌面沙箱中。代理仍然通过 截图 感知屏幕，通过 鼠标 与 键盘 操作界面，并在需要时调用 shell 执行命令，从而完成端到端的桌面任务。

核心能力包括：

• 在 Linux、macOS、Windows、Android 沙箱中启动计算机使用代理，统一用视觉与输入控制驱动。
• 将桌面交互与命令执行放在同一套路里：屏幕观察 → 动作执行 → 结果回收。
• 适配不同运行时路径：本地 QEMU 类虚拟化，或 CUA cloud 访问。

典型步骤：

1. 准备运行时：Python 3.11+ 用于 SDK，或使用 Node.js 的 cuabot。
2. 选择沙箱平台并启动桌面实例。
3. 代理在沙箱内执行任务：读屏幕、做点击/输入、必要时跑 shell。
4. 把执行结果回传给调度方，用于继续推理或记录评估。

适用边界与注意点

• 运行时依赖上游能力：本地路径需要可用的虚拟化/容器接口，云端路径需要 CUA cloud 访问。
• 不同 OS 的桌面栈差异会带来行为差异（可用 UI 元素、可访问性信息、渲染方式不完全一样）。
• 自动化任务要遵守目标系统权限与安全策略；在共享环境中建议先做隔离与最小权限验证。