按需视觉桥接
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_a3b59db4/vision-bridge 技能到当前 AI 助手中。
技能介绍
它解决什么问题
纯文本主模型无法接收或理解图片时,常见的做法是先把图片转成文字再喂回模型。问题在于:转写容易遗漏关键细节,或者把整张图的场景描述全部塞进上下文,既浪费 token,又稀释了模型对真正问题的注意力。vision-bridge 不是给所有模型统一加视觉增强层,而是按需桥接——只在主模型确实无法访问图片时介入,并且只提取回答当前问题所需的最小结构化结果。
如何工作
判断不依赖 DeepSeek、GPT、Qwen 这类模型名称,而是依据运行时可见输入能力和对话上下文决策:
- 主模型已能直接读取图片:不调用本技能,让模型直接理解原图。
- 明确不支持视觉,或系统提示无法读取图片:自动调用,用户无需手动指定。
- 能力未知:优先让主模型处理;仅在模型明确表示无法查看,或输出明显不能基于图片作答时才桥接。
- 用户指定外部视觉 API 或高精度 OCR:视为专项复核,而非默认流程。
- 主模型切换后重新判断,不沿用上一模型的能力结论。
任务分流分三类:
- 纯文字提取:本地 OCR 可用时优先本地 OCR;输出为空、明显残缺、顺序混乱或关键数字不确定时,必须用视觉 API 复核。
- 视觉语义:图表趋势、页面布局、物体关系、颜色、按钮位置等,直接调用视觉 API,本地 OCR 只作辅助。
- 关键数据:课表、成绩、费用、证件、合同等,结果必须区分「已确认」与「无法确认」,不得补猜;后续求和、筛选、匹配交给代码执行。
输出遵循最小原则,围绕用户问题提取:读取文字只返回原文与表格结构,查找数字只返回目标值及其上下文,截图排错只返回错误信息、页面状态和相关线索。用户没有提出具体问题时,才做简短通用识别。
同一张图片在后续追问中优先复用已有结果;仅当图片变化、需要新视觉证据或上次结果不完整时才重新识别。
适用边界与注意点
- 配置从
/config.json读取,环境变量可覆盖:VISION_BASE_URL、VISION_API_KEY、VISION_MODEL、VISION_TIMEOUT、VISION_RETRIES。API Key 优先放在环境变量中,不要写入技能包、日志或对话,分发技能时必须清空。 - 网络超时、429、5xx 最多自动重试 1 次;401、403、404、图片不存在或格式不支持不重试,直接给出明确排查信息。
- OCR 未安装或不可用时降级到视觉 API,不要报成系统故障。
local-whisper是语音转文字技能,不是图片 OCR;现有 WPS 发票 OCR 基于pytesseract,面向发票入账,不是通用 OCR。- 与 token 优化策略协作时,只回传检索、OCR、计算或复核后的必要结果,不传无关的整图描述。
- 任何识别失败都不得猜测图片内容。
使用场景
- 用户截图后主模型为纯文本模型,需将截图中的表格文字提取为结构化文本供后续处理
- 分析图表趋势时模型无法读取图片,需视觉桥接返回标题、坐标、关键数值与趋势方向
- 处理课表、成绩或财务表格时,需识别关键单元格并标注无法确认的字段,避免模型猜测
- 调试网页应用时用户提供报错截图,需提取错误信息、页面状态及相关按钮线索辅助排错
适合人员
- 后端工程师,在文本模型无法读取图片输入时,需将图像转为结构化描述供模型推理
- 数据处理员,需要将截图或扫描件中的表格内容提取为可解析数据并标注不确定项
- 测试工程师,需从报错截图中提取界面状态与错误文本,帮助开发定位问题
- 运维或技术支持人员,需根据用户提供的截图快速诊断页面状态并给出排查方向