技能介绍

它解决什么问题

让 LLM 直接操作浏览器，最大的痛点不是「不会点击」，而是看不懂页面。HTML 里的 DOM 结构和用户实际看到的渲染结果之间存在巨大鸿沟——一个按钮可能被 CSS 隐藏、被遮挡，或点击区域与文本位置不一致。只把 DOM 喂给模型，容易选错坐标；只给截图，纯文本模型又无法解析像素内容。Tarsier 要填的正是这个坑：在渲染层给可交互元素打上带括号的编号（如 CLICK [23] 中的 [23]），同时用 OCR 把截图转成空白字符分隔的文本结构，让不具备视觉能力的文本模型也能「看懂」页面布局。

核心能力与工作流程

视觉标注（Visual Tagging）：在页面截图上识别可交互元素并标注括号 ID，LLM 据此输出 CLICK [23] 这类结构化动作，而不是猜坐标。
OCR 文本化：内置 OCR 算法把截图转换为以空白字符分隔的文本表示，保留元素的相对位置与层级关系。
动作映射：模型从标注中获得元素编号，从 OCR 文本中理解内容与上下文，再组合成可执行的动作序列。

典型路径：代理获取页面截图 → Tarsier 标注并 OCR → 文本模型基于编号与文本决定下一步 → 执行动作并循环。

适用边界与注意点

该库来自 Reworkd，Python 包中复用了由 TypeScript 编译而来的 JavaScript 实现，使用前需确保构建链路可用（上游要求 npm run build 产出供 Python 端调用的 JS）。
标注与 OCR 都基于渲染后的截图，准确率受页面动态加载、遮挡和缩放影响，渲染时机需要自行把控。
纯文本模型得到的只是「文本化」的页面视图，并非真正的视觉理解，遇到复杂视觉语义（如图表含义）时可能仍然失效。