Stable Diffusion的LoRa模型是什么意思？

时间：23-10-05 15:03:49

作者：

　　LoRA：大语言模型的低阶适应

　　　　 4efae9402b6e048826c95e4fb0740286

　　在大语言模型微调方面，微软的研究人员开发了一项名为LoRA（Low-Rank Adaptation of Large Language Models）的技术。LoRA的目标是解决大语言模型微调的成本和复杂性问题。

　　举个例子，GPT-3拥有1750亿个参数，如果要让它在特定领域发挥作用，就需要对其进行微调。然而，直接对GPT-3进行微调的成本非常高，也非常繁琐。

　　LoRA的做法是冻结预训练好的模型权重参数，然后在每个Transformer块中注入可训练的层。由于不需要重新计算模型权重参数的梯度，LoRA大大减少了训练所需的计算量。

　　研究表明，LoRA的微调质量与全模型微调相当，可以说是一种神器。

　　可以将LoRA类比为大模型中的一个小模型，或者说是一个插件。LoRA最初是为大语言模型设计的，但它也可以应用于交叉关注层，对于使用文字生成图片的效果也有影响。

　　Stable Diffusion最早的模型实际上并不支持LoRA。后来，对LoRA的支持被加入了Stable Diffusion中。据说，Simo Ryu是第一个让Stable Diffusion支持LoRA的人。如果你对此感兴趣，可以去这位大佬的GitHub上了解更多关于这个项目的信息。

　　通过LoRA技术，大语言模型的低阶适应变得更加高效和便捷。它为我们提供了一种新的方法，让大语言模型在特定领域中发挥更好的作用。相信随着LoRA的不断发展和应用，它将为我们带来更多惊喜和创新。

相关文章