Agent Skills
返回列表
🎨

LTX-2 视频生成

设计多媒体 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_814dbe54/ltx2-video-gen。

技能介绍

解决的视频生成痛点

当前视频生成常面临三类棘手问题:一是音频与视频天然脱节,多数模型需后期对齐口型或音效,原生同步难实现;二是制作流程割裂,文生/图生视频、局部修改、关键帧过渡、音频驱动等场景常要切换不同模型与工具链,反复导出导入易损失画质;三是生产级画质与推理效率难平衡,高画质模型要么推理步数多、速度慢,要么显存占用过高,普通GPU无法承载。

核心能力与工作逻辑

LTX-2基于DiT(Diffusion Transformer)架构,将音频-视频生成的核心能力整合进单一模型:

  • 原生音视频同步:直接输出匹配画面的原生声音,无需后期对齐,尤其适配人物口型与环境音效场景;
  • 多场景生成能力:覆盖文本转视频、图像转视频、关键帧插值、视频局部重生成(替换特定时间段)、音频驱动视频五大基础场景;
  • 速度与画质平衡的Pipeline体系:

- DistilledPipeline用预定义sigma实现8步快速推理,Stage 2仅需4步上采样,适合原型验证;
- TI2VidTwoStagesPipeline/TI2VidTwoStagesHQPipeline为生产级方案,后者支持二阶采样器提升画质;
- 扩展Pipeline覆盖IC-LoRA视频变换、HDR输出、配音+口型同步等细分需求;

  • 灵活的显存优化:支持FP8量化(fp8-cast或fp8-scaled-mm)、CPU/磁盘卸载,最低显存需求可从40GB+降低;
  • 生态拓展:支持IC-LoRA、相机控制、HDR等LoRA训练,同时兼容ComfyUI(ComfyUI-LTXVideo)的可视化工作流。

其中文本编码器采用量化版Gemma 3 12B,仅占约6GB显存,兼顾语义理解精度与资源消耗。

落地注意点

  • GPU适配需匹配推理栈:Blackwell(B200)推荐FlashAttention 4,Hopper GPU用FlashAttention 3 wheel,其他CUDA GPU自动调用PyTorch SDPA;
  • 蒸馏模型虽快,但Stage 2上采样仍需4步,追求极致画质建议用HQ版Pipeline;
  • LoRA仅支持指定类型(IC-LoRA、相机控制、HDR、DubIt),自定义场景需确认训练兼容性;
  • 高清视频输出需特定Pipeline支持,普通Pipeline无法输出HDR格式。

使用场景

  • 拍摄短视频时需保证人物口型与台词完全同步,可直接生成自然对齐的音视频
  • 为产品演示短片快速生成带原生音效的动态画面,无需后期对齐
  • 需要替换已生成视频中某一时间段的画面,避免整个片段重新生成
  • 用一段人声音频驱动生成人物说话视频,口型与声音天然匹配

适合人员

  • 短视频创作者希望在拍摄时直接获得口型与台词同步的画面,减少后期调音对齐的时间。
  • 产品宣传人员需要将静态产品图快速转化为带音效的演示短片,用于社交媒体发布。
  • 视频后期编辑者需要在不重做整片的前提下替换某一时间段画面,保留整体创意连贯性。
  • 有声内容制作者希望用音频直接驱动人物说话视频,让口型与声音天然匹配。