视觉识别助手
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_476accef/vision-recognition 技能。
技能介绍
要解决的具体问题
当前 AI Agent 的主模型通常无法直接「查看」图片,导致截图分析、票据 OCR、表格提取等视觉类任务无法推进。本技能的核心思路很直接:调用智谱 GLM-4.6V 视觉大模型,把图片「翻译」成文字描述或 OCR 文本返回给 AI,让模型基于文本继续处理后续任务。所有识别逻辑封装在 scripts/ vision.py 脚本中,无需开发者自行处理图片解码或 API 对接细节。
技能如何工作
触发条件
当满足以下任一场景时,技能会自动调用:
- 用户提供图片文件路径、截图,要求「识别/分析/看看」
- 任务需要 OCR(提取文字、表格、表单、票据内容)
- 需要描述图片中的物体、人物、场景或图表
- 用户要求对比多张图片或验证图片信息
使用步骤
- 选择识别提示词:根据任务类型用
--prompt参数指定,例如通用描述用「请详细描述这张图片的内容」,OCR 场景用「请识别并输出图中的全部文字,保持原有排版和顺序」。 - 执行识别脚本:运行
python scripts/vision.py,支持通过--model切换模型(默认glm-4.6v,可选glm-4v-flash或glm-5v-turbo),--json参数可获取包含 token 用量的原始响应。 - 处理识别结果:将脚本返回的文本视为「视觉信息」,根据用户需求完成后续操作,如回答基于图片的问答、整理结构化数据或验证图片内容是否符合预期。
关键配置
- 唯一依赖是智谱 API Key,可通过
~/.config/opencode/opencode.jsonc中的provider.zhipu.options.apiKey配置,或设置环境变量ZHIPU_API_KEY。
适用边界与注意事项
- 单张图片需单独调用脚本,多张图片需逐张识别后手动合并结果
- 模型识别能力受训练数据和图片质量限制,模糊或遮挡内容建议更换
glm-5v-turbo模型或要求用户提供更清晰的图片 - 若 API 返回 401 错误,首先检查 API Key 是否失效
- 识别结果中可能包含敏感信息,需注意不要在对话中泄露机密内容
使用场景
- 用户给出设计稿或截图路径,需要提取界面中的所有 UI 文案和排版细节,以便前端工程师还原页面。
- 财务人员需要将一张发票图片中的开票日期、金额和明细提取成结构化表格,直接填入财务系统。
- 测试工程师提供 App 多张状态截图,要求对比找出暗色模式和亮色模式之间不一致的按钮图标。
- 数据分析师需要从一张包含复杂柱状图的资讯截图中,提取出各项具体数值和类目名称用于后续计算。
适合人员
- 前端开发工程师:接手老旧设计稿截图,需要快速提取 UI 文案和组件细节以还原历史页面。
- 财务或报销审核员:每天处理大量发票和收据图片,需要准确提取关键字段并录入内部报账系统。
- 软件测试工程师:负责 App 多端适配测试,需要对比不同主题模式下的界面截图以排查 UI 显示异常。
- 商业数据分析师:经常从行业报告截图中获取数据,需要将图表中的文字和数值提取出来进行二次分析。