LoRA(Low Rank Adaption
简单来说一个矩阵的秩越大,它的信息含量就越大
把一个大矩阵变成小矩阵,这样运算起来就会对性能要求更小
多个小矩阵相乘可以变成大矩阵,同理,大矩阵可以拆分成多个小矩阵,从而减少参数量,降低性能要求
LoRA是什么?| 5分钟讲清楚LoRA的工作原理_哔哩哔哩_bilibili