从LoRA到QLoRA：量化技术如何改变预训练模型的微调方式

预训练语言模型这几年发展得很快，LLM 已经成为各种自然语言处理任务里的核心技术。不过，这些模型动辄几十亿甚至上千亿的参数，也带来了不小的麻烦——想要微调一次，需要的计算资源和存储空间都大得吓人。现在有了 QLoRA，它提出了一种新方法，让在单个 48GB 的 GPU 上微调 65B 参数的大模型成为了可能，而且性能还能跟 16-bit 微调打平。下面，就来详细看看 QLoRA 的具体做法，以及它带来的一些变革。

一、 FFT vs LoRA vs QLoRA

在聊 QLoRA 之前，有必要先回顾一下全量微调和低秩适配器这两种方法。

1.1 全量微调（FFT）

全量微调是一种非常传统的方法，简单直接，但要求对模型的所有参数都进行更新。这意味着每次微调，都得消耗大量的计算和存储资源。虽然这种方法的确能保证在微调任务中达到最佳性能，但当模型规模上来以后，资源消耗一下子就涨上去了。比如，微调一个几十亿参数的模型，往往就需要多个高性能 GPU 和大量的时间。所以，全量微调的门槛确实不低。

1.2 LoRA

LoRA 的思路就聪明了很多。它提出了一种低秩适配器的方法，通过引入低秩矩阵来调整模型参数，实际上只更新一小部分参数。这样做的好处很明显：计算和存储需求一下子就降下来了，让有限的硬件也能进行有效的微调。不过，话说回来，LoRA 在某些情况下的表现可能不如全量微调，原因很简单——毕竟它只调整了部分参数，整个模型的潜力没办法被完全释放。

1.3 QLoRA

QLoRA 可以说是在 LoRA 的基础上又进了一步。它引入了量化技术，让在单个 48GB GPU 上微调 65B 参数的大模型不再是奢望。具体来说，QLoRA 先把预训练模型参数进行 int4 量化，然后冻结住，只让梯度反向传播到低秩适配器 LoRA 里去。这样一来，既保留了 LoRA 的低秩适配优势，又通过量化大幅降低了计算和存储需求。简单说，就是用少量的资源，撬动更大的模型。

二、 QLoRA 提出新数据类型 4-bit NormalFloat (NF4)

QLoRA 的一个重要创新，就是它的量化技术，尤其是新提出的 4-bit NormalFloat (NF4) 数据类型。

2.1 8-bit 量化和量化常数 c

在传统的量化方法中，8-bit 量化算是一种常见的技术。它的工作原理很简单：通过一个量化常数 c，把输入张量的值映射到 8-bit 的范围内，从而实现数据压缩。不过，虽然 8-bit 量化已经很不错了，但在处理大规模模型时，它需要的存储空间和计算资源依然不低。

2.2 NormalFloat (NF) 数据类型

接下来说说 NormalFloat，这是一种建立在分位数量化上的数据类型。从信息论的角度来看，它的表现非常优秀——它能保证每个量化区间里的数值数量是相同的。具体的做法是通过经验累积分布函数来估计输入张量的分位数。虽然分位数估计的过程可能有点贵，但好在有快速分位数近似算法可以解决，比如 SRAM 分位数，这样就能高效地完成量化。

2.3 4-bit NormalFloat (NF4)

4-bit NormalFloat 是 QLoRA 的一个重要创新。为什么说它重要呢？因为预训练神经网络的权重，通常服从一种零中心的正态分布，标准差为 σ。通过缩放 σ，就能把所有权重转换成统一的分布，让它正好落在 NF4 的数据范围内，也就是 [-1, 1] 这个区间。具体实现分三步：

• 首先，估计标准正态分布 N(0,1) 的分位数，得到正态分布的 k 位分位数量化数据类型。
• 接着，把这些分位数值归一化到 [-1, 1] 范围内。
• 最后，再把输入权重张量也归一化到 [-1, 1] 范围内，进行量化。

这样一来，权重就能被高效地量化成 4-bit 了。

三、QLoRA 提出双量化技术：量化（量化常数）

除了数据类型的创新，QLoRA 还提出了双量化技术，这套技术设计了两种不同的数据类型：一种用于存储（4-bit NormalFloat），另一种用于计算（16-bit BrainFloat）。

3.1 双量化技术的应用

具体是怎么实现的呢？在 QLoRA 中，权重先是以 4-bit NormalFloat 的格式存储，需要计算的时候，再反量化为 16-bit BrainFloat，用于前向和后向传播。注意，只有那部分 LoRA 参数的权重梯度会被计算，其余的权重只有到解压缩时才会用到。这样一来，训练和推理过程中内存占用就始终很低了。

3.2 优化内存使用

双量化技术的应用，让在单个 GPU 上微调大规模模型不再是梦想。更关键的是，它显著降低了内存使用率。对于那些资源有限但又需要处理大规模模型的应用场景来说，这确实是个好消息。用有限的资源就能实现高效的微调和推理，计算资源的利用效率自然也就上去了。

四、总结

总结一下。QLoRA 通过引入 4-bit NormalFloat 数据类型和双量化技术，成功实现了在低资源条件下进行大规模预训练模型的高效微调。它不仅保留了 LoRA 的低秩适配优势，还进一步优化了内存使用和计算效率。可以说，QLoRA 为大规模模型的实际应用开启了一扇新的大门。未来，它有望在更多的自然语言处理任务中发挥重要作用，推动 AI 技术继续向前发展。