AI 文生视频流水线
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/sundial-org-awesome-openclaw-skills-ai-video-gen。
技能介绍
要解决什么问题
很多团队想做「描述一段文案就出成片」,但现实往往卡在链条太长:分镜图要换一家 API、镜头动效又要另一家、旁白还要再开 TTS 控制台,最后还得用 FFmpeg 拼时间轴。缺一段就要手写胶水脚本,密钥和计费模型也各自为政。
技能如何工作
该技能把 文生图 → 文/图生视频 → 配音 → 剪辑 收成可复用的流水线,而不是只调用单个生成接口。
- 图像:DALL-E 3、Stable Diffusion、Flux 等,按场景或分镜出图
- 视频:LumaAI、Runway、Replicate 等模型,把静态画面或提示扩展为短片
- 旁白:OpenAI TTS 或 ElevenLabs,写入
add_voiceover.py一类脚本 - 剪辑:用 FFmpeg 做拼接、转场、叠加层;多场景可走
multi_scene.py,已有图序列可用images_to_video.py
工作流上文档区分 Budget Mode(偏免费/低成本:Stable Diffusion、开源视频模型、廉价 TTS)与 Quality Mode(DALL-E 3、Runway Gen-3、LumaAI、ElevenLabs)。主入口脚本是 generate_video.py,端到端从文本跑通;edit_video.py 负责特效与转场。文档附有各 API 的量级成本参考,便于在出片前估预算。
适用边界与注意点
这是 脚本化工作流 + 多厂商 API,不是内置的零配置 SaaS:需要自行配置各服务的 API Key,本机或环境需具备 FFmpeg。长片、精细时间轴或复杂调色仍可能要专业 NLE;多模型串联时延迟与失败重试要自己在流水线里处理。示例输出在 examples/ 目录,适合先小规模试跑再放大场次。
使用场景
- 产品发布前需把三段功能说明文案快速做成带旁白的分镜短视频,供内审或社媒试用
- 已有分镜 PNG 序列,需在本地用 FFmpeg 合成为 1080p 成片并叠加上 ElevenLabs 解说
- 教育运营要把一章讲义拆成多场景脚本,分别调用 Runway 或 Luma 生镜头后再用 multi_scene 拼接
- 预算有限时用 Stable Diffusion 出图、开源视频模型动效,再用 OpenAI TTS 完成低成本样片
适合人员
- 独立创作者,要把口播稿或产品文案自动拉通成可发布的短视频样片
- 增长或市场同学,需要按 Budget/Quality 两档估算 DALL-E、Runway、TTS 成本再决定是否批量出片
- 内训或课程运营,维护多场景讲义并反复生成带旁白的演示视频草稿
- 会写 Python 的工程师,希望用 generate_video.py 等脚本把多家生成 API 与 FFmpeg 串成固定流水线