页面内 GUI 智能体

为什么需要页面内智能体

传统网页自动化（如 Playwright 类工具）通过远程驱动浏览器执行脚本，稳定性没问题，但每换一个站点都要重新写选择器、维护脚本。SPA 页面频繁重渲染、动态加载控件，让基于坐标或选择器的定位变得脆弱，稍微一改就失效。

核心思路：把自然语言注入页面

页面内 GUI 智能体反其道而行：不远程遥控浏览器，而是在目标页面里注入一段 JS agent 运行时，让它直接在页面上下文中理解 DOM，把自然语言指令翻译成元素操作。相比传统范式，它更少依赖手写选择器，对页面结构变化的适应性更强。

工作流程

1. 在目标页面加载 agent 运行时（注入脚本）。
2. 用自然语言描述目标，例如「把第 2 条评论标记为已读」。
3. Agent 在页面上下文中定位元素并执行，回传结果。
4. 通过 MCP 暴露能力，供外部大模型编排多页面任务。

指令设计要点

• 具体而非模糊：点击右上角登录 优于 登录一下。
• 给出上下文：在当前列表第一项操作 优于 第一项。
• 分步给反馈：长任务拆成可验证的小步，逐步确认。

适用边界与陷阱

• SPA 频繁重渲染会导致元素定位失效，需要等待页面稳定后再操作。
• 跨域 iframe 内的元素无法直接操作，必须进入 iframe 上下文。
• 指令含糊会引发误操作，关键动作前应加确认。

使用前请确认目标站点的服务条款，切勿用于越权访问或违规爬取。