ELLA模型介绍以及在ComfyUI使用的工作流 | AI绘画教程

腾讯在三月份发布了 ELLA, 无需 U-Net 或 LLM 训练,就可通过 ELLA (一种高效的 LLM Adapter),为文生图扩散模型增强文本对齐,解决大多数模型受限于 CLIP 本身对密集提示词的理解能力(多对象、详细属性、复杂关系、长文本对齐等)较差的问题!

说得通俗易懂一点就是,使用ELLA之后,模型更能够准确得理解人类的意思!更能够准确地生成人类实际想要的图片效果!

ELLA模型介绍以及在ComfyUI使用的工作流 | AI绘画教程

ELLA的GitHub主页:https://github.com/TencentQQGYLab/ELLA

ELLA模型介绍以及在ComfyUI使用的工作流 | AI绘画教程

现在,已经有热血的网友为这个项目开发出了comfyui扩展,目前可以用的扩展有2个,我们随便选择其中一个即可!在本文中,我选择第二个扩展作为演示!

ELLA模型介绍以及在ComfyUI使用的工作流 | AI绘画教程

如果截至到本文发布的时候,ELLA还只能支持与SD1.5版的模型一起使用,暂不支持SDXL模型!不过本文也会持续关注最新的更新!

安装方法

安装扩展

可以直接通过管理器来安装这个扩展:

1.点击“管理器”,点击“安装节点”;

2.选择“ComfyUI-ELLA-wrapper”这个扩展,点击后面的安装;

3.安装完成之后重启ComfyUI!

下载模型

在运行工作流的过程中,系统会自动下载所需的模型,主要是如下的两个模型:

当然,如果你的网络情况不是很好,你也可以提前下载这些模型,模型的下载链接如下:

ella模型:https://huggingface.co/QQGYLab/ELLA/resolve/main/ella-sd1.5-tsc-t5xl.safetensors

免科学上网地址:https://huggingface.1319lm.top/QQGYLab/ELLA/resolve/main/ella-sd1.5-tsc-t5xl.safetensors

t5_model:https://huggingface.co/ybelkada/flan-t5-xl-sharded-bf16/tree/main

免科学上网地址:https://huggingface.1319lm.top/ybelkada/flan-t5-xl-sharded-bf16/tree/main

除了上面从官网自己下载之外,我也已经将这两个模型打包成了一个zip压缩包,并且上传到了百度网盘,你可以直接通过网盘下载这两个模型,然后解压到项目的根目录!

ella模型:https://pan.baidu.com/s/1w997ULmUWKc4jL6rf13LDQ?pwd=wkxm
t5_model:https://pan.baidu.com/s/17OFswExxp2scdLqAmBgqlw?pwd=pdvq

下载工作流

如下的工作流是一个添加和未添加ELLA模型的对比工作流!(可以直接将下面这张图片拖入到comfyui中即可导入该工作流!

ELLA模型介绍以及在ComfyUI使用的工作流 | AI绘画教程

案例展示

案例一:

a panda bear with aviatorglasses on its head
头上戴着飞行员眼镜的熊猫

ELLA模型介绍以及在ComfyUI使用的工作流 | AI绘画教程

案例二:

a spaceship that looks like the Sydney Opera House
一艘看起来像悉尼歌剧院的宇宙飞船

ELLA模型介绍以及在ComfyUI使用的工作流 | AI绘画教程

案例三:

a mischievous raccoon standing on its hind legs, holding a bright red apple aloft in its furrypaws. the apple shines brightly against the backdrop of a dense forest, with leaves rustling in thegentle breeze. a few scattered rocks can be seen on the ground beneath the raccoon’s feet, while agnarled tree trunk stands nearby.
一只淘气的浣熊用后腿站立,毛茸茸的爪子高举着一个鲜红的苹果。苹果在茂密的森林的映衬下闪闪发光,树叶在微风中沙沙作响。浣熊脚下的地面上可以看到一些散落的岩石,附近还有粗糙的树干。

ELLA模型介绍以及在ComfyUI使用的工作流 | AI绘画教程

原创文章,作者:朋远方,如若转载,请注明出处:https://caovan.com/ellamoxingjieshaoyijizaicomfyuishiyongdegongzuoliu-aihuihuajiaocheng/.html

(2)
打赏 微信扫一扫 微信扫一扫
朋远方的头像朋远方
上一篇 2024年4月10日 下午12:04
下一篇 2024年4月14日 下午12:05

相关推荐

发表回复

登录后才能评论

评论列表(2条)

  • pzc4的头像
    pzc4 2024年4月14日 下午10:48

    Error occurred when executing ella_t5_embeds:

    Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_model.msgpack found in directory /root/ComfyUI/models/t5_model/flan-t5-xl-encoder-only-bf16.

    直接用你的模型包了,这个是啥报错呀?

  • note的头像
    note 2024年4月15日 下午12:36

    总结的好