腾讯在三月份发布了 ELLA， 无需 U-Net 或 LLM 训练，就可通过 ELLA （一种高效的 LLM Adapter），为文生图扩散模型增强文本对齐，解决大多数模型受限于 CLIP 本身对密集提示词的理解能力（多对象、详细属性、复杂关系、长文本对齐等）较差的问题！
说得通俗易懂一点就是，使用ELLA之后，模型更能够准确得理解人类的意思！更能够准确地生成人类实际想要的图片效果！
ELLA的GitHub主页：https://github.com/TencentQQGYLab/ELLA
现在，已经有热血的网友为这个项目开发出了comfyui扩展，目前可以用的扩展有2个，我们随便选择其中一个即可！在本文中，我选择第二个扩展作为演示！
如果截至到本文发布的时候，ELLA还只能支持与SD1.5版的模型一起使用，暂不支持SDXL模型！不过本文也会持续关注最新的更新！
安装方法
安装扩展
可以直接通过管理器来安装这个扩展：
1.点击“管理器”，点击“安装节点”；
2.选择“ComfyUI-ELLA-wrapper”这个扩展，点击后面的安装；
3.安装完成之后重启ComfyUI！
下载模型
在运行工作流的过程中，系统会自动下载所需的模型，主要是如下的两个模型：
当然，如果你的网络情况不是很好，你也可以提前下载这些模型，模型的下载链接如下：
ella模型：https://huggingface.co/QQGYLab/ELLA/resolve/main/ella-sd1.5-tsc-t5xl.safetensors
免科学上网地址：https://huggingface.1319lm.top/QQGYLab/ELLA/resolve/main/ella-sd1.5-tsc-t5xl.safetensors
t5_model：https://huggingface.co/ybelkada/flan-t5-xl-sharded-bf16/tree/main
免科学上网地址：https://huggingface.1319lm.top/ybelkada/flan-t5-xl-sharded-bf16/tree/main
除了上面从官网自己下载之外，我也已经将这两个模型打包成了一个zip压缩包，并且上传到了百度网盘，你可以直接通过网盘下载这两个模型，然后解压到项目的根目录！
ella模型：https://pan.baidu.com/s/1w997ULmUWKc4jL6rf13LDQ?pwd=wkxm
t5_model：https://pan.baidu.com/s/17OFswExxp2scdLqAmBgqlw?pwd=pdvq
下载工作流
如下的工作流是一个添加和未添加ELLA模型的对比工作流！（可以直接将下面这张图片拖入到comfyui中即可导入该工作流！）
案例展示
案例一：
a panda bear with aviatorglasses on its head
头上戴着飞行员眼镜的熊猫
案例二：
a spaceship that looks like the Sydney Opera House
一艘看起来像悉尼歌剧院的宇宙飞船
案例三：
a mischievous raccoon standing on its hind legs, holding a bright red apple aloft in its furrypaws. the apple shines brightly against the backdrop of a dense forest, with leaves rustling in thegentle breeze. a few scattered rocks can be seen on the ground beneath the raccoon’s feet, while agnarled tree trunk stands nearby.
一只淘气的浣熊用后腿站立，毛茸茸的爪子高举着一个鲜红的苹果。苹果在茂密的森林的映衬下闪闪发光，树叶在微风中沙沙作响。浣熊脚下的地面上可以看到一些散落的岩石，附近还有粗糙的树干。
原创文章，作者：朋远方，如若转载，请注明出处：https://caovan.com/ellamoxingjieshaoyijizaicomfyuishiyongdegongzuoliu-aihuihuajiaocheng/.html
微信扫一扫 
评论列表（2条）
Error occurred when executing ella_t5_embeds:
Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or flax_model.msgpack found in directory /root/ComfyUI/models/t5_model/flan-t5-xl-encoder-only-bf16.
直接用你的模型包了，这个是啥报错呀？
总结的好