精讲stable diffusion webui的AnimateDiff动画插件

Table of Contents

提示穿梭(Prompt Travelling)

什么是“提示穿梭(Prompt Travelling)”

“Prompt Travelling” 是一种技术,用于在创建最终的 GIF 或视频时,精确调整正面提示(positive prompt),以精确控制特定时间帧内的具体细节。当与 AnimateDiff 和 Stable Diffusion 结合时,Prompt Travelling 允许更大程度地影响 GIF 和视频的视觉美学,包括风格、背景、服装选择等元素​。

“提示穿梭(Prompt Travelling)”的语法规则

“提示穿梭(Prompt Travelling)”分为“头部提示”、“帧提示”和“尾部提示”三个部分

精讲stable diffusion webui的AnimateDiff动画插件

头部提示

上图案例中的第一行代表头部提示,不是必须的。您可以灵活地包含单行或者多行提示。头部或基本提示充当基础输入,用于确定生成的视频或 GIF 的整体外观。例如:

masterpiece, 30 year old women, cleavage, red hair, bun, ponytail, medium breast, desert, cactus vibe, sensual pose, (looking in the camera:1.2), (front view:1.2), facing the camera,close up, upper body

帧提示

“帧提示”遵循“帧编号:帧prompt”模式,确保您的帧编号按顺序排列。这些提示显示在特定时间范围内将发生的修改。并且对每一个“帧prompt”都可以添加单独的权重规则。例如:

0: (red dress:1.2)
8: (white dress:1.2) 
16: (green dress:1.2)
24: (blue dress:1.2)

尾部提示

上图案例中的最后一行代表尾部提示,不是必须的。您可以灵活地包含单行或者多行提示,也可以不写。

smile

需要注意的是,插件参数设置中的“Number of frames”必须要大于“帧提示”中最大的帧索引号,经过实际测试,至少要大于4帧以上才不会出现报错的现象,建议“Number of frames”设置的数字要大于“帧提示”中的最大索引值8或者16帧以上最为保险!

“提示穿梭(Prompt Travelling)”的案例

大模型(checkpoint):toonyou_beta6.safetensors

未添加“提示穿梭(prompt travelling)”的正面提示词:

masterpiece, 30 year old women, cleavage, red hair, bun, ponytail, medium breast, desert, cactus vibe, sensual pose, (looking in the camera:1.2), (front view:1.2), facing the camera,close up, upper body

添加了“提示穿梭(prompt travelling)”的正面提示词:

masterpiece, 30 year old women, cleavage, red hair, bun, ponytail, medium breast, desert, cactus vibe, sensual pose, (looking in the camera:1.2), (front view:1.2), facing the camera,close up, upper body
0: (red dress :1.2)
16: (white dress:1.2) 
32: (green dress:1.2)

负面提示词:

 (worst quality:1.2), (low quality:1.2), (lowres:1.1), (monochrome:1.1), (greyscale), multiple views, comic, sketch, (((bad anatomy))), (((deformed))), (((disfigured))), watermark, multiple_views, mutation hands, mutation fingers, extra fingers, missing fingers, watermark, nude, nsfw

采样方法:DPM++ 2M Karras

采样步数(Sampling steps:20

宽高度:512×512

提示词相关性(CFG Scale):7

随机种子(seed):3301240212

Motion module:mm_sd_v15_v2.ckpt

Number of frames:40

FPS:8

Closed loop:N

Context batch size:16

Frame Interpolation:off

效果对比

未添加“提示穿梭(prompt travelling)”

添加“提示穿梭(prompt travelling)”

原创文章,作者:朋远方,如若转载,请注明出处:https://caovan.com/jingjiangstable-diffusion-webuideanimatediffdonghuachajian/.html

Like (11)
Donate 微信扫一扫 微信扫一扫
朋远方的头像朋远方
Previous 2023年10月25日 下午5:30
Next 2023年12月1日 上午9:51

相关推荐

发表回复

Please Login to Comment

Comments(6)

  • 柳一刀的头像
    柳一刀 2023年11月16日 下午11:31

    大神你好,问一下,这个插件对于本地部署的SD的显卡要求高不? 我的笔记本RTX4060的显卡能跑不?

  • zhan的头像
    zhan 2023年11月27日 下午11:56

    有可以使用sd的地方吗?自己硬件不行,不能安装sd。

  • vic的头像
    vic 2024年4月16日 下午7:49

    大神,秋叶安装包,我安装动画插件后,webui报错,直接打不开,卸载后,又可以打开,为什么呀

  • vic的头像
    vic 2024年4月16日 下午7:57

    降低一个版本,好像又行了,再跑跑看