AnimateDiff+LCM实现stable diffusion生成视频几何级提速

技术要点

采样方法

LCM采样方法

LCM采样方法不需要单独安装,通过“stable diffusion webui”的扩展功能(包括从网址安装和从可用列表安装2种方法)安装AnimateDiff插件之后,LCM采样方法也会同步被安装!

如果是通过插件的github主页直接下载zip压缩包,再解压到extensions文件夹这种方式安装的AnimateDiff插件,可能会找不到LCM采样方法;

Euler a采样方法

Euler a采样方法也可以配合LCM Lora模型使用,也可以达到差不多的提速效果!

不过经过我本人的实际测试,我依然觉得LCM采样方法+LCM lora的方案出来的视频画质是最佳的;

迭代步数

传统方案的迭代步数一遍是20以上,而LCM方案的迭代步数一遍设置在“4-8”即可!太大了没有意义,对画质的改变并不大!这个也是缩减视频生成时间的最主要的原因!

提示词相关性

传统方案的提示性相关性一般都在7以上,而LCM方案的提示词相关性一般设置为1或者2;

其中“1”代表只包含正面提示词,不包含负面提示词;

其中“2”代表既包含正面提示词,又包含负面提示词;

LCM Lora模型

模型下载

1.5版LCM lora模型下载地址:https://huggingface.co/latent-consistency/lcm-lora-sdv1-5/tree/main

AnimateDiff+LCM实现stable diffusion生成视频几何级提速

XL版LCM lora模型下载地址:https://huggingface.co/latent-consistency/lcm-lora-sdxl/tree/main

AnimateDiff+LCM实现stable diffusion生成视频几何级提速

由于1.5版的lora模型和XL版的lora模型的名称都是一样的,所以下载下来之后我们需要为它们修改一下名称,只要这两个模型的名称不同,并且你自己能区别开来就行,改什么名称你可以自行决定!

模型路径

模型下载下来之后保存在“\stable-diffusion-webui\models\Lora”文件夹下面,为了避免与其他lora模型混淆,我们可以将LCM的lora模型放置在一个单独的子文件夹中,比如你可以在lora文件夹下面新建一个“lcm”子文件夹,然后将这两个模型单独放在这个文件夹中!

AnimateDiff+LCM实现stable diffusion生成视频几何级提速

模型调用

LCM的lora模型的调用和其他lora模型的调用方法一样,都是直接鼠标点击lora即可添加到正面提示词中!

如果选择的是1.5版的checkpoint大模型,那么LCM的lora模型也需要选择1.5版的lora;

如果选择的是XL版的checkpoint大模型,那么LCM的lora模型也需要选择XL版的lora;

AnimateDiff+LCM实现stable diffusion生成视频几何级提速

原创文章,作者:朋远方,如若转载,请注明出处:https://caovan.com/animatedifflcmshixianstable-diffusionshengchengshipinjihejitisu/.html

(1)
打赏 微信扫一扫 微信扫一扫
朋远方的头像朋远方
上一篇 2023年12月2日 下午9:36
下一篇 2023年12月18日 上午11:29

相关推荐

发表回复

登录后才能评论