Stable Diffusion ControlNet 姿态管道
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_3c6cb52e/stable-diffusion-controlnet-pose-pipeline。
技能介绍
它解决什么问题
在角色复刻、分镜预演和姿势驱动的视觉创作里,最大难点不是“画不出来”,而是“姿态不听话”。纯文生图对骨骼结构、视线方向和空间层级的控制很弱;即使用 ControlNet,也需要在不同模型与 API 之间反复手工拼接,工程成本高且难以复现。
管道如何工作
该技能把 Stable Diffusion 与 ControlNet 的常见环节串成一条可重复的调用链,通过 Automatic1111 API 统一编排。核心流程包括:
- 先用 OpenPose 从参考图抽取骨架,得到可控的姿态条件;
- 配合 depth estimation 提供空间层次,避免人物与背景粘连;
- 最终把条件送入
img2img端点进行生成或重绘,让构图更稳定。 - 在 Gradio 界面之外绘制草稿(例如 MS Paint),再导入到流程中;基础示例设定为 768×768、无提示词(无 positive、无 negative),用来观察纯姿态/结构约束的效果。
适用边界与注意点
- Gradio UI 自定义空间有限,很多预处理需要在界面外完成。
- 源资料强调示例“无提示词”,但真实项目通常仍需补充提示词与权重调参。
- 姿态与深度提供的是结构引导,不保证人物身份、风格或纹理的一致性。
- 对复杂多人、手部或远景,建议多参考图与多轮
img2img迭代。 - 上游提及的脚本(如
gradio_canny2image.py、gradio_hough2image.py、gradio_hed2image.py)展示了边缘、线稿、HED 等控制路径,说明该生态可扩展,但本管道重点在姿态与深度。
使用场景
- 做分镜预演时,需要按同一姿势生成多个镜头角度
- 角色设计迭代中,用骨架图固定动作,只改服装与表情
- 产品海报需要人物指向特定方向,靠姿态图约束手部与视线
- 基于参考照重绘,需要保持空间层次,避免人与背景粘连
适合人员
- 想稳定控制角色动作的插画师,希望减少反复抽卡
- 做广告视觉的设计师,需要按客户姿势稿快速出多版
- 研发图像生成管线的工程师,要串起OpenPose与img2img
- 处理角色一致性的运营,需在同一姿态下替换服装与场景