视频图片内容提取多模态分析

要解决的问题

图片、视频和音频分散时，人工整理文本、字幕、关键画面成本高。该技能面向工程化内容提取：输入本地文件或平台 URL，输出可后续处理的 JSON、Markdown、纯文本和 SRT/VTT 字幕。它适合把口播视频、PPT 截图、带硬字幕视频等素材转成可检索、可摘要、可编辑的结构化内容。

工作方式

技能将多模态材料拆成三条分析链路，再按时间轴融合：

• 图片 OCR：识别字幕区、标题区、正文区、水印区，评估 OCR 质量并自动重试，多帧结果融合去重。
• 视频提取：用场景切换检测代替固定间隔截帧，自动识别口播、PPT、画面、混合类型，跳过黑帧和重复帧。
• 音频转录：调用 Whisper 分级模型，对齐时间戳；中文后处理包括简繁转换、同音纠错、术语短语纠错、标点规范化和重复段去重。

在线视频支持抖音、B站、YouTube、腾讯、爱奇艺、优酷等 URL，文档提到抖音免 Cookie 下载、B站音频优先模式。分析深度可在 basic 和 full 间自适应，结果缓存便于二次分析。

边界与注意点

• 该技能面向内容提取和结构化整理，不等同于完整剪辑、翻译或版权清理。
• 依赖 ffmpeg、tesseract-ocr、faster-whisper、opencv、pytesseract、Pillow 等环境，沙箱中需准备模型目录与系统依赖。
• 文档描述部分核心服务为远端化、动态配置，离线部署前应确认服务可用性与本地实现范围。