自研AI短剧视频生产

解决什么问题

竖屏 AI 短剧的单集标准是 18 个场景、1080x1920、约 3 分钟，但从剧本到成片手工串联极其脆弱：用 Ken Burns 当主要画面来源、把 JPEG 改扩展名当 PNG 导致视频 API 报 1210、429 限流时反复重试、片段编码不一致导致 concat 音画不同步、SRT 非 UTF-8 导致字幕乱码。这套管线把踩过的坑固化成了可重复执行的自动化流程。

核心能力与关键步骤

• 分镜图生成：调用 z-ai-generate CLI，按 config.json 里的角色外观构造 prompt（角色 + 场景 + 光影 + 镜头语言 + 风格），推荐先生成 768x1344 再用 PIL 转 1080x1920。
• TTS 配音：z-ai TTS SDK 逐场景生成，无台词场景用 ffmpeg 生成静音占位。
• Motion Prompt 增强：LLM 把简短画面描述扩写成 80-150 词的英文运动提示，补 2-3 个镜头运动和 1-2 个动态元素；API 不可用时降级为本地规则。
• 图生视频：speed / quality 双模式，batch_i2v.mjs 自动跳过已生成场景，429 立即停止等 cron 继续，假 PNG 的 1210 不重试。
• FFmpeg 合成：片段按音频时长对齐（-stream_loop -1 + -shortest），统一 libx264 + aac + fps 30 后 concat，烧录字幕，有 GPU 时走 NVENC。
• 标准化交付：pipeline.sh 统一入口，先做图片/音频/视频数量与格式检查，再依次补全、生成 SRT、合成、质检，输出 videos/{ep}_report.json 报告。

适用边界与注意点

• 图片必须是真 PNG：用 img.format 检测后 save(format='PNG') 重存，JPEG 改后缀必报 1210。
• 视频 API 和 TTS 是独立限流桶，TTS 恢复不代表视频恢复，两者要分别检测。
• 429 时立即停止，指数退避最多 300s，超过就等下次 cron。
• Ken Burns 只作为 AI 图生视频完全失败后的最后降级方案。
• concat 前所有片段必须统一编码参数，否则音画不同步；竖屏字幕 MarginV 建议 50-60。
• 单集耗时：speed 模式约 30-40 分钟，quality 模式约 60-90 分钟，均不含 429 等待。