Agent Skills
返回列表
视觉识别助手

视觉识别助手

AI Agent 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_476accef/vision-recognition 技能。

技能介绍

要解决的具体问题

当前 AI Agent 的主模型通常无法直接「查看」图片,导致截图分析、票据 OCR、表格提取等视觉类任务无法推进。本技能的核心思路很直接:调用智谱 GLM-4.6V 视觉大模型,把图片「翻译」成文字描述或 OCR 文本返回给 AI,让模型基于文本继续处理后续任务。所有识别逻辑封装在 scripts/ vision.py 脚本中,无需开发者自行处理图片解码或 API 对接细节。

技能如何工作

触发条件

当满足以下任一场景时,技能会自动调用:

  • 用户提供图片文件路径、截图,要求「识别/分析/看看」
  • 任务需要 OCR(提取文字、表格、表单、票据内容)
  • 需要描述图片中的物体、人物、场景或图表
  • 用户要求对比多张图片或验证图片信息

使用步骤

  1. 选择识别提示词:根据任务类型用 --prompt 参数指定,例如通用描述用「请详细描述这张图片的内容」,OCR 场景用「请识别并输出图中的全部文字,保持原有排版和顺序」。
  2. 执行识别脚本:运行 python scripts/vision.py,支持通过 --model 切换模型(默认 glm-4.6v,可选 glm-4v-flash 或 glm-5v-turbo),--json 参数可获取包含 token 用量的原始响应。
  3. 处理识别结果:将脚本返回的文本视为「视觉信息」,根据用户需求完成后续操作,如回答基于图片的问答、整理结构化数据或验证图片内容是否符合预期。

关键配置

  • 唯一依赖是智谱 API Key,可通过 ~/.config/opencode/opencode.jsonc 中的 provider.zhipu.options.apiKey 配置,或设置环境变量 ZHIPU_API_KEY。

适用边界与注意事项

  • 单张图片需单独调用脚本,多张图片需逐张识别后手动合并结果
  • 模型识别能力受训练数据和图片质量限制,模糊或遮挡内容建议更换 glm-5v-turbo 模型或要求用户提供更清晰的图片
  • 若 API 返回 401 错误,首先检查 API Key 是否失效
  • 识别结果中可能包含敏感信息,需注意不要在对话中泄露机密内容

使用场景

  • 用户给出设计稿或截图路径,需要提取界面中的所有 UI 文案和排版细节,以便前端工程师还原页面。
  • 财务人员需要将一张发票图片中的开票日期、金额和明细提取成结构化表格,直接填入财务系统。
  • 测试工程师提供 App 多张状态截图,要求对比找出暗色模式和亮色模式之间不一致的按钮图标。
  • 数据分析师需要从一张包含复杂柱状图的资讯截图中,提取出各项具体数值和类目名称用于后续计算。

适合人员

  • 前端开发工程师:接手老旧设计稿截图,需要快速提取 UI 文案和组件细节以还原历史页面。
  • 财务或报销审核员:每天处理大量发票和收据图片,需要准确提取关键字段并录入内部报账系统。
  • 软件测试工程师:负责 App 多端适配测试,需要对比不同主题模式下的界面截图以排查 UI 显示异常。
  • 商业数据分析师:经常从行业报告截图中获取数据,需要将图表中的文字和数值提取出来进行二次分析。