Agent Skills
返回列表
🎨

AI 文生视频流水线

设计多媒体 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/sundial-org-awesome-openclaw-skills-ai-video-gen。

技能介绍

要解决什么问题

很多团队想做「描述一段文案就出成片」,但现实往往卡在链条太长:分镜图要换一家 API、镜头动效又要另一家、旁白还要再开 TTS 控制台,最后还得用 FFmpeg 拼时间轴。缺一段就要手写胶水脚本,密钥和计费模型也各自为政。

技能如何工作

该技能把 文生图 → 文/图生视频 → 配音 → 剪辑 收成可复用的流水线,而不是只调用单个生成接口。

  • 图像:DALL-E 3、Stable Diffusion、Flux 等,按场景或分镜出图
  • 视频:LumaAI、Runway、Replicate 等模型,把静态画面或提示扩展为短片
  • 旁白:OpenAI TTS 或 ElevenLabs,写入 add_voiceover.py 一类脚本
  • 剪辑:用 FFmpeg 做拼接、转场、叠加层;多场景可走 multi_scene.py,已有图序列可用 images_to_video.py

工作流上文档区分 Budget Mode(偏免费/低成本:Stable Diffusion、开源视频模型、廉价 TTS)与 Quality Mode(DALL-E 3、Runway Gen-3、LumaAI、ElevenLabs)。主入口脚本是 generate_video.py,端到端从文本跑通;edit_video.py 负责特效与转场。文档附有各 API 的量级成本参考,便于在出片前估预算。

适用边界与注意点

这是 脚本化工作流 + 多厂商 API,不是内置的零配置 SaaS:需要自行配置各服务的 API Key,本机或环境需具备 FFmpeg。长片、精细时间轴或复杂调色仍可能要专业 NLE;多模型串联时延迟与失败重试要自己在流水线里处理。示例输出在 examples/ 目录,适合先小规模试跑再放大场次。

使用场景

  • 产品发布前需把三段功能说明文案快速做成带旁白的分镜短视频,供内审或社媒试用
  • 已有分镜 PNG 序列,需在本地用 FFmpeg 合成为 1080p 成片并叠加上 ElevenLabs 解说
  • 教育运营要把一章讲义拆成多场景脚本,分别调用 Runway 或 Luma 生镜头后再用 multi_scene 拼接
  • 预算有限时用 Stable Diffusion 出图、开源视频模型动效,再用 OpenAI TTS 完成低成本样片

适合人员

  • 独立创作者,要把口播稿或产品文案自动拉通成可发布的短视频样片
  • 增长或市场同学,需要按 Budget/Quality 两档估算 DALL-E、Runway、TTS 成本再决定是否批量出片
  • 内训或课程运营,维护多场景讲义并反复生成带旁白的演示视频草稿
  • 会写 Python 的工程师,希望用 generate_video.py 等脚本把多家生成 API 与 FFmpeg 串成固定流水线