使用Forge中的SDXL和Fooocus修复模型进行outpaint

在本篇博客文章中,我们将探讨一项革命性的技术——Outpainting,它使我们能够生成图像中原本不存在的外部部分。这种技术不仅仅是简单的扩展,而是对整个外部的创成式填充(与Photoshop的创成式填充一样)。

使用Forge中的SDXL和Fooocus修复模型进行outpaint

在过去,创成式填充需要用专门的inpainting大模型来实现,但现在,随着 Stable Diffusion XL 的出现,我们得以在 FORGE 界面中实现标准checkpoint直接outpainting的功能!这一功能,开启了新的可能性。使用 Stable Diffusion XL 在 FORGE 界面进行Outpainting将为创作者提供更广阔的创意空间。

我们会首先下载ControlNet的InPaint模型,该模型专门为FOOOOCUS界面设计,但是也在FORGE中使用,如果还不知道forgeUI如何安装使用的,可以先阅读《ForgeUI的安装与使用 | 相比较于Auto1111 webui 6G显存速度提升60-75% | AI绘画教程》这篇文章!

不过这个 ControlNet 模型与AOTOMATIC1111接口不兼容,也就是还无法在webui中来使用。

controlNet模型下载与安装

fooocus_inpaint模型下载:https://huggingface.co/lllyasviel/fooocus_inpaint/tree/main

如果是中国大陆的用户,可以用代理地址进行下载:https://huggingface.1319lm.top/lllyasviel/fooocus_inpaint/tree/main

使用Forge中的SDXL和Fooocus修复模型进行outpaint

将下载好的模型保存在“models\ControlNet”文件夹下面!

运行参数设置

参数设置可以参考下面的示意图,不过这个参数并不是绝对的,比如对重绘幅度的参数设置,不一定非得是“1”,0.8、0.7似乎都有不错的效果!其他的参数你也可以自行多测试更多的可能性!

1.选择一个SDXL的写实大模型;

2.切换到图生图功能区;

3.拖入你需要outpaint的图片;

4.反推图片的提示词;

5.打开“soft inpainting”功能(可选);

6.获取原图的尺寸;

7.修改要outpaint的尺寸,建议每次只能修改宽高中的一个参数,只扩展一个纬度,而不要宽高同时扩展!

8.修改重绘幅度,0.7-1似乎效果都还可以!

9.打开controlNet功能;

10.点选“Enable”和“Upload independent control image”;

11.拖入原图;

12.点选“Inpaint”;

13.“Preprocessor”选项中选择“inpaint_only”;

14.“Model”选项中选择“inpaint_v26.fooocus”模型;

15.“Control Mode”选择“ControlNet is more important”;

16.“Resize Mode”选择“Resize and Fill”

完成设置后点击“Generate”!

最后,值得一提的是,Outpainting技术不仅限于合成图像,它也可以应用于真实照片。通过对真实照片进行Outpainting,我们可以在保留原始图像精度的同时,创造出全新的内容。

感谢您阅读这篇介绍Outpainting技术的文章。我们希望这项技术能够激发您的创意,并为您的创作带来更多的可能性。如果您对这项技术感兴趣,不妨尝试一下,也许您会发现全新的视角和灵感。

原创文章,作者:朋远方,如若转载,请注明出处:https://caovan.com/shiyongforgezhongdesdxlhefooocusxiufumoxingjinxingoutpaint/.html

(4)
打赏 微信扫一扫 微信扫一扫
朋远方的头像朋远方
上一篇 2024年3月19日 下午7:00
下一篇 2024年3月27日 下午1:22

相关推荐

发表回复

登录后才能评论