YouTube 多模态视频分析器
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/aaaaqwq-agi-super-team-youtube-knowledge-extractor。
技能介绍
要解决的问题
多数 YouTube 相关技能只拉字幕:你能听到「点蓝色按钮」,却看不到到底是哪一块 UI。软件 HowTo、IDE 演示、设置向导里,关键信息经常在画面里——菜单路径、未念出口的代码、报错文案——而旁白往往只说个大概。
本技能走双通道:音频通道产出带时间戳的 transcript.txt;视觉通道用 yt-dlp 下载视频并按时长或场景切换抽帧,再逐帧阅读画面。核心不是「又多抽了几张图」,而是把每一帧映射到对应时间段的旁白,合成 {timestamp, transcript_text, frame_path},再判断仅画面才有的信息。
如何工作
- 元数据与字幕:先取标题、时长、视频 ID;字幕避免直接
--write-sub触发 HTTP 429,改为从视频 JSON 拿字幕 URL,再解析json3为可读分段。无字幕则明确告知并走纯视觉分析。 - 抽帧策略:720p 足够;按片长选固定间隔(短视频可 15s,中长 30s);软件教程类可开场景变化检测,让 UI 跳转让帧边界更清晰。
- 多模态输出:按需求生成分步指南(最常见)、带视觉锚点的综合摘要,或音画双通道对照并标出旁白与画面不一致之处。
边界与注意点
- 年龄限制/私密视频无法直接访问;需用户侧 cookie 等授权手段。
- 超过约 60 分钟建议先和用户确认关注时间段,否则帧量与阅读成本会陡增。
- 字幕限流或返回 HTML 错误页时需换 User-Agent、间隔重试;原声语言勿误用 auto-caption 的
tlang翻译轨。
使用场景
- 要把软件操作录屏课做成「第 N 步点哪个菜单」的图文步骤,需要旁白与界面截图同一时间轴对齐
- 评审技术分享视频时,要列出屏幕上出现但未念出的配置项、命令行与报错信息
- YouTube 教程无字幕或字幕不可靠,仍想根据抽帧还原 UI 流程与关键画面变化
- 需要从长教程中只拆解某一章节,先按时间戳定位旁白再对应该时段帧做精读
适合人员
- 维护内部 Wiki、要把外链 YouTube 培训固化成可检索分步文档的技术写作者
- 做付费课程的教研,需要把讲师口播与 IDE/控制台画面合成标准实验手册
- 安全或合规同事复核第三方演示视频,核对旁白描述是否与真实界面一致
- 开源布道者整理大会录播,提取 demo 里可见但未口述的仓库地址与命令