通用 AI 视频理解
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_d0c0b7f4/video-understand-skill。
技能介绍
要解决什么问题
很多 Agent 只能根据标题、简介或用户口述来「谈」视频,无法核对画面里发生了什么、口播具体说了什么。做爆款拆解、录屏排错、要点摘要或口播稿提取时,缺少画面 + 语音两条证据链,结论容易飘。
技能如何工作
本 skill 不绑定特定平台,前提是 Agent 具备 Bash 与多模态 Read。
- 确认视频源:本地绝对路径,或有权访问的 URL(URL 需
yt-dlp)。 - 运行
watch.py:用ffmpeg抽帧、Groq Whisper(GROQ_API_KEY写在~/.config/watch/.env)转写;支持--start/--end分段、--detail transcript只要字幕、--timestamps定点抓帧、--resolution调高读屏文字。 - 读 stdout 报告:含
## Frames(帧路径与时间戳)与## Transcript(时间轴文本)。 - 用 Read 逐张读帧——不能跳过;再综合字幕按需求输出:结构拆解、bug 定位、要点清单、脚本提取或选题角度。
脚本链为纯 Python(yt-dlp + ffmpeg + Whisper API),随 skill 打包在 scripts/,视频在本机处理;Groq 仅上传 mono 16kHz 音轨用于转写。
边界与注意
- URL 下载依赖出网与
yt-dlp;抖音、TikTok、X 等常需 cookie,失败时应改走本地文件,本地模式无需 cookie。 - 抽帧有上限(如 balanced 约 100 帧),长片请分段;图像 token 随帧数与
--resolution陡增,同一会话勿重复跑同一视频的脚本。 - 不代下明显侵权内容;勿把 API key 写入会外泄的日志或记忆。
使用场景
- 拿到一条竞品或爆款短视频链接,需要按钩子、节奏和镜头语言做可复用的结构拆解,而不是只看标题猜套路。
- 同事发来一段 UI 或部署录屏,要在具体时间点定位报错画面、对照口播说明根因并给出修复建议。
- 培训或会议录播很长,只想抽出带时间戳的要点清单,方便按段落回跳核对画面与讲解。
- 需要从口播视频导出全文稿或字幕文本,并顺带提炼可二创的选题角度与关键信息卡片。
适合人员
- 做短视频或信息流投放的内容策划,经常要把对标视频拆成模板和情绪曲线再改脚本。
- 负责排查线上问题的工程师或 QA,习惯用录屏复盘,需要 Agent 读画面并对齐 Whisper 转写的时间轴。
- 知识博主或课程运营,要把长视频整理成带章节时间戳的笔记或口播稿归档。
- 研究 AI 产品演示、发布会或教程视频的从业者,需要从画面与讲解中提取结构化结论写进文档。