AI-Eyes 屏幕视觉插件 2.0

要解决的问题

文字型 AI 通常只能理解可见文本，遇到图形按钮、图标、状态栏、悬浮提示或密集控件时，容易把“在哪个像素”这件事说错。屏幕操作需要把元素定位从经验判断变成可检查、可复现的流程。

工作方式

• 视觉金字塔：从 L0 全屏扫描到 L3 微观区域，逐层放大候选区域，将定位精度推进到 0.125px。
• 候选筛选：支持 exact、fuzzy、semantic、position 四种模式，可按精确文本、模糊字符、语义近似或屏幕位置加权缩小范围。
• 坐标校正：坐标变换器会补偿放大比例，使返回结果是真实屏幕坐标，而不是裁剪图或中间图层坐标。
• 可选验证：连接 Ollama 与 LLaVA 后，对候选元素进行视觉语言模型二次确认，减少 OCR 误读和形近字符问题。

适用边界

该能力依赖 Pillow、rapidocr-onnxruntime 或 easyocr，截图来源可用 pyautogui 替换。若界面以图标为主、文字稀疏、截图模糊或分辨率极高，建议切换到 L2/L3 层级并启用语义验证。