Ego 浏览器自动化

要解决的问题

AI Agent 驱动浏览器时普遍面临两个痛点：直接解析原始 DOM 会产生上万 token，远超模型上下文预算；同时 Agent 的操作会污染用户当前浏览器状态——登录态丢失、标签页被抢占、Cookie 串用。现有方案要么把浏览器交给 Agent 独占，要么用 screenshot 做像素级识别，前者影响正常浏览，后者在复杂页面上并不可靠。

技术思路

ego-browser 基于 Playwright + CDP Accessibility 构建，核心是三件事：

• 语义快照：snapshotText() 从 accessibility tree 生成紧凑语义树，把 token 消耗从上万压缩到几十个，同时保留可操作元素的引用标记（如 @N）
• Space 隔离：每个任务在独立 Space 中运行，Cookie 和登录态持久化，不会干扰用户当前标签页
• Chrome 登录态继承：通过 storageState 文件复用已有登录信息，针对 SaaS 后台、内部 CRM 等需要登录的系统无需重新认证

操作流程遵循明确规则：

• 先调用 snapshotText() 获取语义树，再基于 @N 引用操作元素
• 每次页面变化（导航、刷新、表单提交）后重新快照，@N 仅对最近一次快照有效
• 复杂 DOM 操作可通过 js() 在页面上下文执行 JavaScript
• 同一浏览器进程内可启动多个 Space 并行处理不同站点，内存占用可控

适用边界与注意点

• 该技能仅支持 Windows 环境，依赖 Node.js 运行时
• 面向已登录后台的重复性任务（点击/填表/翻页）效果最佳，不适合需要复杂验证码的场景——遇到高危操作（支付、删除、发布）Agent 会暂停等待人工确认
• @N 引用是脆弱的：页面结构变化后旧引用失效，必须重新快照
• 官方建议不要直接操作原始 DOM，除非 js() 是唯一可行方案
• 每个任务应创建独立 Space，不要跨 Space 共享引用标记