Agent Skills
返回列表
🎨

Gemini 多模态处理

设计多媒体 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @kunlungrowth/ai-multimodal 到 AI 助手。

技能介绍

解决什么问题

真实项目里的媒体处理往往被拆成一堆互不相通的工具：音频转写用一套服务，图片 OCR 用另一套，PDF 表格抽取又得写专用脚本。结果模型选型、请求格式、输出结构各不相同，集成成本远高于业务本身。

这个技能把音频、图像、视频、文档四类输入统一到 Google Gemini 多模态 API 上，用同一套请求-工件模型覆盖常见任务，让工程师不必在多个供应商之间反复切换。

技能如何工作

核心是「任务类型 + 提示词 + 模型」三元组，而不是绑定某个具体脚本：

  • transcribe：音频转写，输出带时间戳的文本，支持说话人区分，单次最长 9.5 小时。
  • analyze：图像理解（描述、目标检测、OCR、多图对比）与视频分析（场景检测、带时间戳的问题问答），视频支持 YouTube 链接，最长 6 小时。
  • extract：从 PDF 抽取表格、表单、图表，直接产出结构化 JSON。
  • generate：文生图、图像编辑与多图合成，支持 1:1、16:9、9:16 等比例。

工作流按五步组织：确认 GEMINI_API_KEY（依次查找环境变量、.env、.claude/.env）、选模型、构造请求、控制成本、错误处理。模型选择上，gemini-2.5-pro 走通用高质量路线，gemini-2.5-flash 主打性价比，gemini-2.5-flash-image 专做图像生成。目标检测需 2.0+，像素级分割需 2.5+。

所有输出收敛为同一种工件类型 MediaResult，包含 task、modality、model、summary、structured 与 timestamps 字段，便于下游直接消费——转写文本交给文档整理，结构化 JSON 入库，生成图交给后续视觉优化。

成本控制有几条硬建议：超过 20MB 或需要重复查询的媒体走 File API；静态内容降低 FPS；对重复查询启用上下文缓存；批量任务并行处理。免费层约 10-15 RPM、1500 RPD。

适用边界与注意点

  • 只支持 Gemini 模型家族，本地离线推理不在范围内。
  • 密钥管理、配额与费用由调用方自己负责。
  • 目标检测能力需要 2.0 及以上版本，像素级分割需要 2.5+。
  • 大文件先压缩视频/音频、缩放图片、拆分长视频再送入模型。
  • 错误码对应明确：400 检查格式与大小，401/403 检查密钥，404 确认文件已上传且有效，429 指数退避，500 退避重试。

使用场景

  • 产品团队拿到一段40分钟会议录音，需要按时间戳整理上线范围与结论，转成可归档的要点纪要。
  • 前端要给一组设计稿做批量理解，提取界面元素描述与文字内容，并对比多张图的差异。
  • 数据分析需要从几十页PDF报告里抽出表格与图表数据，转成结构化JSON后入库做后续统计。
  • 内容运营要按三种比例生成同一主题的封面图，再对生成结果做局部编辑和多图合成。

适合人员

  • 后端工程师，要在现有服务里集成音视频转写与PDF抽取，统一输出格式并控制调用成本。
  • AI应用开发者，需要快速选型Gemini模型完成图像理解与文生图任务，并处理长文件与限流。
  • 数据分析工程师，要把PDF报告中的表格和图表转成结构化JSON，供下游统计与入库使用。
  • 内容平台运营，负责批量生成和编辑封面图，需要按比例输出并迭代多图合成结果。