技能介绍

视频工作流为什么难做

视频处理很少是一个动作就能完成的。一段素材从采集到交付，通常要经历录制、转码、加字幕、检索、剪辑、分发等多个环节，而每一步都对应不同的工具和数据格式。更麻烦的是两类典型场景：一是桌面会话——需要持续感知屏幕、麦克风和系统音频，判断屏幕上出现了什么、用户说了什么，并据此触发告警或记录会话记忆；二是直播流监控——RTSP 源源不断地进来，需要实时理解画面与语音，并在异常出现时第一时间报警。如果每个环节都靠手工拼接脚本，维护成本会迅速失控。

这个技能如何工作

VideoDB 把这一整条链路收敛到 感知 + 记忆 + 操作 三个能力上：

桌面感知：启动/停止桌面会话，捕获 screen、mic 和系统音频；写入情节式会话记忆，输出会话摘要、可检索时间线和可播放的证据链接；支持基于语音和画面的实时告警/触发器。
媒体接入：输入本地文件路径、公共 URL 或 RTSP 地址，返回可播放的 Web 流链接；服务端完成转码与规格归一化（codec、bitrate、fps、resolution、aspect ratio）。
索引与检索：分别构建视觉、语音和关键词索引，检索时返回带 timestamps 的精确片段和可播放证据，并能自动生成剪辑。
时间线编辑：字幕的生成、翻译与烧录，文本/图像/品牌叠加、动态字幕，背景音乐、配音与译制；通过时间线操作做程序化合成与导出。
直播监控：连接 RTSP/RTMP 直播源，运行实时视觉与语音理解，产出 event/alert 负载供监控流程消费。

常用输入包括媒体路径/URL、桌面捕获请求（start / stop / summarize session）以及具体操作意图（转码规格、索引规格、搜索查询、剪辑区间、告警规则）；常用输出则是流 URL、带时间戳的检索结果、生成的字幕/音频/图像/剪辑资产，以及会话摘要与记忆条目。所有操作通过 Python SDK 完成，连接前需从环境或项目 .env 读取 VIDEO_DB_API_KEY，缺失时 videodb.connect() 会直接抛出 AuthenticationError。

适用边界与注意点

桌面捕获仅支持 macOS，其他平台无法使用该部分能力。
时间线编辑不覆盖转场、变速、裁剪/缩放、调色与音量混合，这些场景需要回退到本地工具（如 ffmpeg）处理。
generate_video() 与 create_collection() 属于计划受限功能，配额耗尽时会报 "Operation not allowed or maximum limit"。
构造时间线前必须校验 timestamps：start 必须 >= 0，且创建 VideoAsset 前 start 必须为 0，否则会得到损坏的输出。
API key 必须由用户自行配置，技能本身不应读取、写入或代管密钥。