Stable Diffusion ControlNet 流水线

解决什么问题

ControlNet 让 Stable Diffusion 的生成结果可以受结构条件控制，但实际操作中存在几个具体痛点：

• 条件输入（涂鸦、边缘图、姿态图）需要在 UI 外部准备，再手动导入
• 不同类型的 ControlNet（Canny、HED、Hough）入口分散，缺乏统一工作流
• Gradio 的定制能力有限，限制了交互灵活性
• 模型加载和 prompt 优化缺少一体化方案

核心能力与工作流程

该技能将上述环节整合为一条流水线：

• 多模态条件支持：深度图、边缘检测（Canny、HED、Hough）、姿态估计
• 模型管理：集成 Hugging Face diffusers 库，简化模型加载与切换
• prompt 优化：通过 CLIP interrogator 自动 refine 输入的 prompt
• Gradio 界面：提供三个独立入口 gradio_canny2image.py、gradio_hed2image.py、gradio_hough2image.py

典型工作流：

1. 在外部绘图软件（如 MS Paint）中准备条件输入
2. 通过 Gradio 界面导入并触发生成
3. 默认输出 768×768 分辨率图像

适用边界与注意点

• Gradio UI 定制能力有限，复杂交互逻辑需在外部完成
• 示例中未使用 prompt，但实际场景中可能需要结合 CLIP interrogator 优化
• 需要根据具体 ControlNet 类型选择对应的入口脚本，未提供统一调度入口
• 深度图和姿态估计的实际效果取决于输入条件的质量