stable diffusion如何在最大程度地保持原姿势的基础上解决手部崩坏的问题|手部修复hands fix

用过stable diffusion生成人物图片的小伙伴们都知道,手部崩坏的问题一直是一个绕不开的噩梦!其实不只是stable diffusion存在这个问题,几乎所有的AI绘画程序都有同样的问题,不管是midjourney还是DALL-E,也会有同样的问题!

那遇到这样的问题,我们该如何完美地解决呢?

有的小伙伴说多抽卡,多抽卡凭的是几率,但是要抽到一张完美的手部图片,并且姿势画风又能同样让我们满意的,这种几率实在是太小了!

也有小伙伴会用手部深度图的插件来解决这个问题,但是用手部深度图会有一个问题就是深度图的数量有限,只能用预置的有限的姿势替换手部的姿势,自由度太低!并且用预置的手部深度图还需要我们手动去调整深度图的大小和位置,很容易产生错位或者是手部大小不协调的问题!

下面我介绍一种在最大程度保持原姿势的基础上利用局部重绘+controlNet来解决手部崩坏的问题!并且我介绍的这种方法(或者说是工作流程)不需要我们手动去调整任何姿势,是目前我个人觉得最科学的一种方法!

本文视频教程

bilibili:https://www.bilibili.com/video/BV1Du4y1J77j/

YouTube:https://youtu.be/T6Jh3h_XjVQ?si=yU3Bgz5sUpgeSiTG

所需插件和模型

ADetailer插件:https://github.com/Bing-su/adetailer

需要用到“hand_yolov8n.pt”这个模型

模型下载地址:hand_yolov8n.pt

DWPose插件:https://github.com/IDEA-Research/DWPose

ControlNet插件:https://github.com/Mikubill/sd-webui-controlnet

需要用到controlNet的openpose和Inpaint两种方法,需要如下的预处理器和模型

openpose预处理器:dw_openpose_full(安装了DWPose插件之后会出现在预处理器的下拉列表中)

openpose模型:如果是1.5版的checkpoint,就选择1.5版的openpose模型,如果是XL版的checkpoint,就选择XL的openpose模型

点击下载1.5版的openpose模型:control_v11p_sd15_openpose.pth

点击下载XL版的openpose模型:adapter-xl-openpose.ptht2i-adapter_xl_openpose.safetensors

Inpaint预处理器:inpaint_global_harmonious

Inpaint模型:control_v11p_sd15_inpaint

插件的安装和模型的保存路径这里不再赘述,详情请查看前面专题课程!

原创文章,作者:朋远方,如若转载,请注明出处:https://caovan.com/stable-diffusionruhezaizuidachengdudebaochiyuanzishidejichushangjiejueshoububenghuaidewenti/.html

(2)
打赏 微信扫一扫 微信扫一扫
朋远方的头像朋远方
上一篇 2023年12月5日 下午6:08
下一篇 2023年12月26日 下午2:49

相关推荐

发表回复

登录后才能评论