精讲stable diffusion的controlNet插件

朋远方 • 2023年10月8日下午10:01 • 学习笔记, 计算机视觉 • 阅读 14816

功能详解

controlNet插件中的功能大致可以分为如下的两个类型：

构图类：Canny、Depth、Normal、OpenPose、MLSD、Lineart、SoftEdge、Scribble/Sketch、Segmentation

这一类的controlNet功能主要是通过“点线面”的方式来约束画面的构图，这一类的功能与图片的颜色信息无关，也就是说这一类的功能无法设置或者约束图片的颜色；

特效类：Shuffle、Tile/Blur、Inpaint、InstructP2P、Reference、Recolor、Revision、T2I-Adapter、IP-Adapter

这一类的controlNet功能主要是对图片的风格进行设定或者约束，或者生成更多的图片细节，这一类的功能大多数与图片的颜色处理相关；

构图类功能

使用 Canny 贴图控制稳定的扩散

模型文件：control_v11p_sd15_canny.pth

配置文件：control_v11p_sd15_canny.yaml

训练数据：具有随机阈值的 Canny

可接受的预处理器：

Canny

invert (from white bg & black line)

使用深度图控制稳定的扩散。

模型文件：control_v11f1p_sd15_depth.pth

配置文件：control_v11f1p_sd15_depth.yaml

训练数据：Midas深度（分辨率256/384/512）+Leres深度（分辨率256/384/512）+Zoe深度（分辨率256/384/512）。多个分辨率的多个深度图生成器作为数据增强。

可接受的预处理器：

depth_leres

depth_leres++

depth_midas

depth_zoe

使用法线贴图控制稳定扩散。

模型文件：control_v11p_sd15_normalbae.pth

配置文件：control_v11p_sd15_normalbae.yaml

训练数据：Bae 的法线贴图估计方法

可接受的预处理器：

normal_bae

normal_midas

（蓝色在前面，红色在左边，绿色在上面）

原创文章，作者：朋远方，如若转载，请注明出处：https://caovan.com/jingjiangstable-diffusiondecontrolnetchajian/.html