屏幕监控
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/sundial-org-awesome-openclaw-skills-screen-monitor。
技能介绍
要解决什么问题
当 Agent 需要「看见」你当前屏幕上的界面时,单靠文字描述往往不够:报错弹窗、布局错位、未登录状态都很难说清楚。Screen Monitor 把视觉上下文和可选的浏览器内操作接到 Agent 工具链里,适合排查 UI、做快速目视确认,以及在已附着标签页里点选、输入。
技能如何工作
技能提供两条路径,按环境与深度选用。
Path A:Fast Share(WebRTC)
面向快速目视检查、受限浏览器或非技术环境。
screen_share_link:生成本地 WebRTC 共享入口 URL。screen_analyze:从入口抓取当前帧,并用视觉模型分析画面内容。
后端默认监听 18795;共享页在 web/screen-share.html,帧存储逻辑见 references/backend-endpoint.js。
Path B:Full Control(Browser Relay)
面向深度调试、UI 自动化、在标签页内点击与输入。
- 执行
clawdbot browser extension install并完成未打包扩展加载。 - 在 Chrome 工具栏点击 Clawdbot 图标执行 Attach。
- 使用
browser action:snapshot对附着标签页做精确截图;browser action:click与元素交互(需profile="chrome")。
适用边界与注意点
- WebRTC 路径适合「看一眼、读界面」,不保证对任意网页做可靠自动化。
- Browser Relay 依赖 Clawdbot 扩展与 Chrome Attach,未附着标签页时 snapshot/click 无法生效。
- 两条路径可并存:先 Fast Share 确认现象,再 Relay 做定点点击或复现步骤。
使用场景
- 远程协助同事时,让 Agent 通过 WebRTC 抓帧分析对方共享画面上的报错信息
- 内网环境无法装扩展,用 screen_share_link 生成入口后做 screen_analyze 目视核对
- 调试前端页面时 Attach Chrome 标签,用 snapshot 对比改版前后 DOM 渲染差异
- 复现用户点击路径失败时,用 browser action:click 在已附着标签页按步骤重试
适合人员
- 负责线上工单闭环的客服工程同学,需要 Agent 读屏上错误码而不只靠用户口述
- 在内网或受限浏览器办公的质量工程师,要做快速截帧分析又不能部署浏览器扩展
- 维护 Clawdbot/OpenClaw 技能链的 Agent 开发者,要把目视与 Chrome 内点击接到同一套工具
- 做 Web UI 回归的前端工程师,需要在真实 Chrome 标签里截图并驱动点击复现缺陷