Stable Diffusion LoRA 训练流水线

解决什么问题

针对 Stable Diffusion XL（SDXL）做 LoRA 微调时，工程师通常要在三条工具链之间来回切换：数据集预处理（尤其是 caption 的生成与清洗）、训练脚本的配置（优化器参数、学习率策略、checkpoint 格式），以及训练产物与 A1111/WebUI 生态的对接。每一步都有容易踩坑的细节——caption 质量差会直接拖累训练效果，优化器参数没调好会导致训练不稳定，导出格式不对则推理端无法正确加载权重。

技能如何工作

这个技能把上述流程串成一条流水线：

• 数据集准备：集成 BLIP-2 自动标注（auto-captioning），为训练图片批量生成描述文本，省去手工写 caption 的人力。
• 训练编排：基于 diffusers 库与 Kohya ss-scripts，负责 LoRA 微调的完整流程控制。
• 优化器配置：支持配置 AdaFactor 优化器参数，这是 Kohya 脚本中常用的省显存优化器。
• 产物导出：训练完成后导出 safetensors 格式检查点，并嵌入 A1111 元数据，确保权重能被 A1111/WebUI 系工具直接识别加载。

基本使用方式：准备好数据集后，在普通 PowerShell 终端中进入 sd-scripts 目录，按上游文档执行训练脚本即可。

适用边界与注意点

• Python 版本：官方测试基于 Python 3.10.x；3.11.x 和 3.12.x 可以工作但未经测试。
• CUDA 版本敏感：安装说明针对 CUDA 12.4。使用其他 CUDA 版本（如 12.1）时必须自行匹配对应的 PyTorch 版本，否则可能跑不起来。
• 上游依赖：训练逻辑提取自 Kohya ss-scripts 文档，遇到脚本层面的问题需要回到上游仓库排查。
• 自动标注的局限：BLIP-2 生成的 caption 偏通用，对特定风格或主体的刻画可能不够精准，高质量训练往往仍需人工修订 caption。