lora模型的原理和使用方法

什么是lora

lora是Low-Rank Adaptation(低秩适应)的缩写,lora是一种在消耗更少内存的情况下加速大型模型训练的训练方法,在stable diffusion中它允许您使用低秩适应技术来快速微调扩散模型。简而言之,LoRA训练模型可以更轻松地针对不同概念(例如角色或特定风格)进行模型训练。然后,这些经过训练的模型可以被导出并供其他人使用。

lora模型是小型的stable diffusion模型,对checkpoint模型应用较小的更改,但是它的体积只有checkpoint的1/100到1/10,文件大小一般在2-500MB之间。

和我们上节课讲到的Hypernetwork一样,lora也是对cross-attention layers(交叉注意力层)进行了更改。

lora模型的原理和使用方法

lora模型的原理和使用方法

原创文章,作者:朋远方,如若转载,请注明出处:https://caovan.com/loramoxingdeyuanliheshiyongfangfa/.html

(6)
打赏 微信扫一扫 微信扫一扫
朋远方的头像朋远方
上一篇 2023年7月29日 下午6:27
下一篇 2023年8月6日 上午8:29

相关推荐

发表回复

登录后才能评论