一文彻底搞懂Fine-tuning - 预训练和微调（Pre-training vs Fine-tuning）

先不急着看细节，说一个最核心的判断：预训练和微调这对组合，已经成为现代深度学习尤其是大语言模型领域的标准范式。预训练负责“打地基”，微调负责“精装修”，两者缺一不可。下面我们来拆开细聊。

Pre-training vs Fine-tuning

预训练（Pre-training）是在大量数据上预先训练模型，让它学会通用特征；而微调（Fine-tuning）则是利用特定任务的小数据集，对预训练模型进行二次优化，把通用能力转化为专用性能。

一、预训练（Pre-training）

为什么需要预训练？

预训练的本质是让模型“见多识广”之后再上岗。具体有两个关键动因：

• 数据稀缺性
  ：现实中标注大量数据成本极高，尤其在医学图像、专业文本等垂直领域，标记数据更是稀缺资源。预训练让模型通过大规模无标注数据先学到通用特征，从而减少对标注数据的依赖，使有限的数据集也能训练出好模型。

• 先验知识问题
  ：如果模型从零开始随机初始化参数，相当于一个“白痴”状态。而预训练模型已经在海量数据中吸收了语法规则、视觉底层特征等先验知识，这些知识为新任务的学习提供了强有力的起点。

预训练的技术原理是什么？

简单说，就是利用大量无标签或弱标签数据，通过特定算法让模型初步具备通用能力。具体技术细节包括：

• 无监督学习
  ：模型在没有明确标签的情况下，自行从文本数据中学习模式。

• 屏蔽语言建模
  ：比如BERT中常用的做法——随机遮盖句子中的单词，让模型预测缺失部分，从而学习上下文关系和语言规律。

• Transformer 架构
  ：当前预训练的主流底座，擅长捕捉长距离依赖和上下文信息，这也是为什么它能处理大段文本的关键。

二、微调（Fine-tuning）

为什么需要微调？

预训练模型虽然见多识广，但学到的知识和具体任务之间仍有鸿沟。微调的价值体现在两个维度：

• 减少对新数据的需求
  ：从头训练大型神经网络需要海量数据，而微调只需在预训练模型上做“定向调整”，用小数据集就能取得不错的效果。

• 降低训练成本
  ：只调整部分参数而非全部，训练时间和计算资源大幅下降，对于资源有限的团队尤其友好。

微调的技术原理是什么？

在预训练模型的基础上，针对特定任务用小规模标注数据集进行进一步训练，并调整模型的部分或全部参数，使模型更契合新任务。

微调如何分类？

可以从两个不同角度来划分：

1. 在新任务的小规模标注数据集上进一步训练

这一方式根据训练方法和目标的不同，常见的有两种：

• 监督微调（SFT）
  ：加载预训练模型 → 准备新任务数据集 → 调整输出层 → 在标注数据上训练。适用于有明确标签的任务，如文本分类、命名实体识别。

• 基于人类反馈的强化学习微调（RLHF）
  ：先做SFT → 收集人类偏好数据 → 训练奖励模型 → 用强化学习指导微调。适用于需要高度人类判断的任务，如对话生成、文本摘要。

（注：SFT和RLHF在实际应用中常被叠加使用，RLHF是SFT的进阶版。）

2. 调整模型的部分或全部参数

根据调整参数量的大小，又可分为：

• 全面微调（Full Fine-tuning）
  ：调整模型全部参数。当新任务与预训练任务差异较大，或者你想充分挖掘新数据集价值时，选择这种。

• 参数高效微调（PEFT）
  ：只调整少量参数，例如添加可训练的适配器（adapters）、前缀（prefixes）等。在计算资源有限或需要快速切换任务时非常实用，同时不会影响模型在其他任务上的能力。

说到底，预训练和微调是一体两面。预训练提供“骨架”，微调赋予“血肉”，两者结合才能让模型既有广度又有深度。