一张3090性能超越全参调优！比LoRA还快50%的微调方法来了

2022年底ChatGPT的爆火，直接把大模型推到了聚光灯下。但一个现实问题摆在眼前：训练大模型所需的计算资源和存储空间，实在太高了。好在，原先在计算机视觉领域混得风生水起的LoRA技术，成功跨界到了大模型微调中，带来了接近2倍的时间加速和理论最高8倍的空间压缩，让微调这件事变得亲民了很多。

不过LoRA并非十全十美。一方面，在很多任务上，LoRA的效果还没能真正追平全参数微调；另一方面，LoRA的理论性质分析难度不小，给后续研究设置了不少障碍。UIUC联合LMFlow团队深入分析了LoRA的实验特性，意外发现了一个有趣的现象：LoRA特别偏爱大语言模型的底层和顶层权重。基于这个发现，团队提出了一种极其简洁的算法——Layerwise Importance Sampled AdamW，简称LISA。

论文链接

https://arxiv.org/abs/2403.17919

开源地址

https://github.com/OptimalScale/LMFlow

LISA介绍

LISA的核心思路其实非常直白：

• 始终更新底层的embedding层和顶层的linear head层；
• 随机更新少数几个中间的self-attention层，比如只挑2到4层来动。

看起来简单到不可思议，但实验结果却让人眼前一亮——在指令微调任务上，LISA不仅超过了LoRA，甚至比全参数微调还要好。

更关键的是，它的空间消耗和LoRA相当，甚至更低。以70B模型为例，总空间消耗降到了80G×4；而7B模型更是直接压到了单卡24GB以下。这一点对普通玩家来说，吸引力巨大。

由于LISA每次只激活中间一小部分参数，它对更深层的网络以及梯度检查点技术（Gradient Checkpointing）都非常友好，可以进一步节省空间。

在指令微调任务上，LISA的收敛性质也比LoRA提升明显，达到了全参数调优的水平。而且，因为不需要像LoRA那样引入额外的adapter结构，LISA的计算量更小——速度比LoRA快了将近50%。

从理论分析角度看，LISA也比LoRA更容易下手。梯度稀疏化、重要性采样、随机块坐标下降等现有优化领域里的数学工具，都能直接用来分析LISA及其变种的收敛性质。

一键使用LISA

为了方便社区使用，LMFlow已经集成了LISA。安装完成后，只需一条命令就能开启基于LISA的微调。如果需要进一步减少大模型微调的空间消耗，LMFlow也支持一系列最新技术。LMFlow团队承诺将持续维护并集成最新技术。

总结

在大模型军备竞赛愈演愈烈的今天，LISA在LoRA之外给出了另一个务实的选择。它让更多普通玩家也能参与到这场使用和研究大模型的浪潮中。正如团队的口号所说：让每个人都能训得起大模型（Large Language Model for All）。

参考文献

[1] Hu, Edward J., et al. "Lora: Low-rank adaptation of large language models." ICLR 2022.

[2] Dettmers, Tim, et al. "Qlora: Efficient finetuning of quantized llms." Advances in Neural Information Processing Systems 36 (2024).

[3] Ding, Ning, et al. "Delta tuning: A comprehensive study of parameter efficient methods for pre-trained language models." arXiv preprint arXiv:2203.06904 (2022).

[4] Lialin, Vladisla v, et al. "Stack more layers differently: High-rank training through low-rank updates." arXiv preprint arXiv:2307.05695 (2023).