Stable Diffusion XL LoRA 训练器

要解决什么问题

Stable Diffusion XL（SDXL）的 LoRA 微调涉及数据准备、训练参数配置、权重合并等多个环节。手动操作时，数据集格式不统一、训练脚本的参数调优依赖经验、训练产出的 LoRA 权重如何合并回基础模型也缺少统一流程，导致试错成本高。

核心能力与工作流程

该技能围绕 SDXL LoRA 训练提供以下能力：

• 数据集准备：整理与校验训练所需的图像数据集，确保输入格式符合训练脚本要求。
• 训练配置：基于 diffusers 库与 Kohya-ss 训练脚本，管理 LoRA adapter 的超参数与训练流程。
• 权重合并：将训练产出的 LoRA checkpoint 合并回基础 SDXL 模型，生成可直接用于推理的最终权重。

此外，技能还包含 SV4D 2.0 视频生成推理能力：

• 通过 scripts/sampling/simple_video_sample_4d2.py 对输入视频进行 4D 采样推理。
• 默认接受 21 帧输入视频，模型以自回归方式逐段生成直到完成 21 帧输出。
• 5x8 模型每次处理 5 帧输入，推理脚本默认与 SV3D/SV4D 保持一致的 21 帧接口。

适用边界与注意事项

• 显存要求：低显存环境下可通过 --encoding_t=1、--decoding_t=1 或降低 --img_size=512 来适配。
• 依赖安装：需安装 numpy>=1.17、PyWavelets>=1.1.1、opencv-python>=4.1.0.25 及 invisible-watermark（无依赖模式）。
• 权重获取：运行 SV4D 推理前需从 HuggingFace 下载对应的 sv4d2.safetensors 权重文件。