我们在前面的教程里面介绍过“openpose+seg+comfyui手部修复”的方法,以及在stable diffusion webui中使用局部重绘来进行手部修复的方法,今天我们再来介绍一个“Depth+Seg+ComfyUI手部修复”的方法!
对比图
本文视频教程
bilibili:https://www.bilibili.com/video/BV1764y1K71s/
YouTube:https://youtu.be/WjclsqOkRto?si=xHqIHTetrjDOXS0N
工作流原理介绍
本工作流的原理是利用MeshGraphormer Depth Map Preprocessor Provider(SEGS)预处理器+controlNet的detph模型,始终会生成正确的depth深度图的特点,再用新生成的手部的深度图引导seg局部细化重绘,从而生成正确的手部细节。当然,值得注意的是根据正确的手部depth深度图来引导生成新的手部细节依然有概率的存在,依然需要我们多次抽卡才能得到满意的图片!
工作流
该工作流理论上支持SD1.5版的checkpoint+controlNet,也支持SDXL版的checkpoint+controlNet,但是要注意的是,checkpoint和controlNet的版本一定要保持一致;
个人测试用sai_xl_depth_256lora.safetensors+SDXL版的checkpoint(realismEngineSDXL_v20VAE.safetensors)效果较好,其他版本的效果大家可以自行测试!
工作流中用到的模型下载(点击下载):
sai_xl_depth_256lora.safetensors
realismEngineSDXL_v20VAE.safetensors
需要此工作流的可以从下面下载↓↓↓
原创文章,作者:朋远方,如若转载,请注明出处:https://caovan.com/depthsegcomfyuishoubuxiufuliuchengdepthsegcomfyui-hands-fix-workflow/.html
Comments(3)
好像运行失败了。。。
如何下载
你好,我运行时出现:No module named ‘custom_mesh_graphormer’ 这个错误