抖音视频画面文字提取

要解决的问题

短视频和网课里，大量信息是烧录在画面上的：口播念出的一串数字、PPT 上闪过的公式、成绩单上的字段，统统不在任何字幕文件里。要把它们变成可检索文本，传统做法要么人工逐帧抄写，要么把视频帧喂给云端视觉模型 —— 前者耗时，后者按张计费，一段二十分钟的网课可能烧掉上千次调用。

video-ocr-to-text 走的是另一条路：全程本地计算，不产生任何 token 或 API 费用，唯一成本是 CPU 时间和磁盘 IO。

核心能力与处理流程

给定视频链接或本地文件，技能按固定流水线执行：

• 链接解析：抖音（含 v.douyin.com/xxx 短链）走专用解析通道，快手、B 站、YouTube 等交由 yt-dlp 处理。
• 均匀抽帧：用 opencv 按固定间隔取帧，--interval 控制密度，越小越密也越慢。
• 图像预处理：帧放大 + Otsu 二值化，压低背景干扰后再送 OCR。
• 本地识别：调用本机 tesseract，默认 chi_sim+eng 双语言。
• 公式补强：对公式密集区额外跑多 PSM 模式，尽量保住希腊字母与上下标。
• 结果落盘：输出 .ocr.json（meta 信息 + 逐帧文本 + 去重行与时间戳）和 .ocr.md（可读报告，便于人工校正归档）。

本地 .mp4 / .mkv / .mov 直接跳过下载；链接场景下视频默认处理完即删，除非显式加 --keep-video。

适用边界与注意点

• 只认画面可见文字。视频若只有语音口播、画面无烧录字幕，输出会是空的，需要改用本地 Whisper 语音识别 —— 那同样零 token，但不在本技能默认流程内。
• 公式别抱太高期待。tesseract 对数学符号、希腊字母、上下标常有误读，识别结果需要人工或后续脚本校正，必要时把 --upscale 提到 3。
• 平台防盗链会让抖音链接偶发短期失效，换桌面端分享链接或直接传本地文件即可绕过。
• 长视频建议调大 --interval 减少帧数，或先用 ffmpeg 截取关键时间段再传入。