lora模型的原理和使用方法

朋远方 • 2023年8月3日上午9:25 • 学习笔记, 计算机视觉 • 阅读 9295

什么是lora？

lora是Low-Rank Adaptation（低秩适应）的缩写，lora是一种在消耗更少内存的情况下加速大型模型训练的训练方法，在stable diffusion中它允许您使用低秩适应技术来快速微调扩散模型。简而言之，LoRA训练模型可以更轻松地针对不同概念（例如角色或特定风格）进行模型训练。然后，这些经过训练的模型可以被导出并供其他人使用。

lora模型是小型的stable diffusion模型，对checkpoint模型应用较小的更改，但是它的体积只有checkpoint的1/100到1/10，文件大小一般在2-500MB之间。

和我们上节课讲到的Hypernetwork一样，lora也是对cross-attention layers（交叉注意力层）进行了更改。