简诗 AI 长视频理解与剪辑

要解决什么问题

视频处理链路里最磨人的往往不是单一环节，而是理解、检索、剪辑三件事被切成了互不相通的工具：一段两小时的录屏，你想找到“提到密码字段的那 30 秒”，通常得先转码、再抽帧、再跑一遍语音识别，最后手动对齐时间轴；直播流想加一条“有人进入区域就告警”的规则，要么写一套视觉流水线，要么干脆放弃。本地工具链（ffmpeg、moviepy）擅长的是“对文件动手”，但它们拿不到跨模态的语义索引，也无法把“搜索结果”直接变成“可交付片段”。

VideoDB 这条路线把感知、记忆与操作放进同一个服务端：媒体上传后即完成转码与多模态索引，后续的提问、检索、剪辑都在同一套 API 上完成。

它如何工作

输入可以是本地文件路径、公共 URL，或 RTSP/RTMP 实时流；桌面场景下还能捕获屏幕、麦克风和系统音频并形成会话记忆。链路大致分三层：

• 感知与摄取：支持编解码器、比特率、帧率、分辨率、宽高比的转码与标准化，返回可直接播放的流链接。
• 索引与检索：建立视觉、语音、关键词三类索引，搜索命中后返回时间戳与可播放证据链接，并可从命中点自动生成片段。
• 时间线操作：通过 Timeline 组合视频、音频、字幕与文本/图片叠加层，支持字幕的生成、翻译与烧录，以及背景音乐、画外音、配音的程序化合成。

桌面捕获走 WebSocket 事件流：先选状态目录、启动 ws_listener.py，再跑捕获代码，事件落到 videodb_events.jsonl，最后产出会话摘要与可搜索的时间线。每次重录记得加 --clear，避免上一轮的转录和视觉事件污染新会话。

适用边界与注意点

• 回退规则要记牢：修剪、合并、叠加、转码、字幕、转录、媒体生成都应由 VideoDB 服务端处理，不要绕到 ffmpeg 上；只有过渡、变速、裁剪缩放、调色、音量混合这几项属于已知限制，才允许本地工具兜底。
• 时间线校验：构建前必须确认 start >= 0，负值会被静默接受但产出损坏文件；片段范围要用 video.search() 返回的字幕/场景时间戳填充，别凭感觉手写。
• 桌面捕获仅支持 macOS，其他平台需要换方案。
• 计划限制：generate_video() / create_collection() 可能因配额失败，遇到时直接告知用户去核对套餐，不要反复重试。
• API Key 由用户自行导出或写入 .env，技能本身不读写密钥。

常见用法

• “为这个文件夹建索引，找出每个有人出现的场景并返回时间戳。”
• “生成字幕、烧录进去，再垫一段轻背景音乐。”
• “连上这个 RTSP 地址，有人进入画面区域时发事件告警。”