Agnes 图片识别
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_d550b199/ack26814
技能介绍
解决什么问题
很多 Agent 使用 DeepSeek 等纯文本大语言模型作为推理引擎。这类模型文本能力出色,但不支持多模态输入——当用户发送截图、文档照片或图表时,Agent 只能回复"我看不到图片"。让 Agent 换用视觉模型意味着推翻现有架构,接入成本很高。
工作原理
本技能在 Agent 与纯文本模型之间插入一个视觉预处理层:先调用 Agnes 多模态模型(默认 agnes-2.5-flash,当前限免)把图片解析成结构化 Markdown 文本,再把文本交给主模型继续推理。整个过程无需更换主模型,已有 Agnes API Key 可零成本复用。
核心能力包括:
- 多格式输入:支持
png/jpg/webp/bmp/gif,本地图片转 base64 data URL 发送,公网 URL 直接透传,支持多图对比分析 - 场景覆盖:截图分析、文档识别、图表解读、照片描述、信息提取、表格转结构化 Markdown
- Agent 友好:支持
--stdin管道输入、--json结构化输出、--quiet静默模式,便于程序化集成 - Key 安全:按 命令行 → 环境变量 → 配置文件 三级加载,日志掩码显示(如
sk-12***4567),API 报错自动脱敏
调用流程:传入图片路径或 URL → 脚本读取图片并构造 OpenAI 兼容请求 → Agnes 返回 Markdown 描述 → 主模型基于文字继续推理。默认访问中国站 api.agnes-ai.cn,请求失败时自动回退国际站。
适用边界
- 需要 Agnes 平台 API Key,与 agnes-image / agnes-video 共用同一 Key;中国站与国际站 Key 不通用,脚本会提示实际使用的站点
- 仅支持静态图片,不支持视频;视频需先抽取关键帧再逐帧识别
- 单张图片建议不超过 10MB,超大图片可先压缩
- 复杂图表或高精度需求可切换付费模型
agnes-2.5-pro,默认不选用
使用场景
- 排查线上故障时,把用户发来的报错截图解析成文字,交给纯文本模型定位问题
- 识别纸质合同或发票照片中的关键字段,提取为结构化数据供后续处理
- 把行情截图中的 K 线图、柱状图解读为文字描述,写入分析文档
- 把聊天截图、公告牌或二维码图片解析为文本,再交给主模型总结要点
适合人员
- 基于 DeepSeek 等纯文本模型搭建 Agent、想补齐图片理解能力的后端工程师
- 已有 Agnes API Key 调用 agnes-image 生图、希望复用同一 Key 解析图片的集成开发者
- 经常收到用户截图反馈、需要把截图转成文字再继续排查的技术支持工程师
- 需要从纸质合同、发票照片中批量提取信息的财务与文档自动化开发者