Claude Code 视频帧提取与音频分析

解决的问题

Claude Code 的输入接口是文本，它看不见视频。当你手头有一条录屏、一段产品演示或一个 bug 复现视频时，想让 Claude 帮忙分析「这个报错发生在第几秒」「用户点击的是哪个按钮」，传统做法是手动截图、记时间戳，再把零散信息拼成 prompt。信息在搬运过程中会丢失，结论也难以复用。

工作原理

这个技能为 Claude Code 增加了一层视频感知能力，核心由两部分组成：

• 帧提取：基于 ffmpeg 按时间间隔或关键场景从视频中抓取画面，把截图交给 Claude 做视觉理解；
• 音频转录：对音轨做语音识别，把对白或旁白转成带时间轴的文本，让 Claude 能「听懂」视频说了什么。

拿到帧和字幕之后，Claude 就能回答关于本地视频文件或 YouTube 链接的具体问题，比如定位某个事件发生的时刻、总结内容，或把画面与解说交叉对照。

适用边界

• 本地 Whisper 方案完全离线且免费，但需要自行安装 whisper.cpp 或 Python 版 openai-whisper，首次运行还要下载模型；
• MCP Server 基于 Node.js，要求 Node.js 20+ 和 ffmpeg 环境；
• 处理 YouTube 链接时依赖 yt-dlp 拉流，网络与平台限制会直接影响可用性；
• 音频识别后端可选 Gemini API 或本地 Whisper：前者需要 API 密钥，后者消耗本机算力，精度取决于模型规格。