神经网络算法 - 一文搞懂模型预训练Pre-training

Pre-training预训练

聊人工智能，怎么也绕不开预训练这个概念。很多人可能觉得它深不可测，但其实只要抓住几个关键点，就会发现它的脉络相当清晰。

一、预训练的本质

AI人工智能 = 数据 + 算法 + 算力，这是它的三要素。其中，数据绝对是重中之重。通常，数据集被划分为三类：训练集、验证集和测试集。

• 训练集 (Training Set)：
  用来训练模型，也就是调整模型参数，让预测错误降到最低。

• 验证集 (Validation Set)：
  在训练过程中用来调整超参数（比如学习率、网络结构这些），以及帮我们在不同迭代轮次里选出最好的模型。

• 测试集 (Test Set)：
  模型训练完后，用它来评估最终的性能，给出一个对模型泛化能力的无偏估计。

打个不那么严谨的比方来理解这三者的关系：训练集就像学生在课堂上学的知识；验证集像是课后的练习题，帮助学生巩固和纠正；而测试集，就是期末考试，检验学习效果到底怎么样。

那么，模型训练的本质到底是什么？说白了，就是一个不断训练、验证、调优，最终让模型达到最优状态的过程。现有的神经网络训练，基本都基于反向传播算法。一开始，网络里的参数是随机初始化的，然后通过随机梯度下降这类优化算法，一步步把参数往最优的方向调整。这个过程大致分几步：

1. 参数初始化：
   神经网络的权重和偏置在训练前被随机设定一个起点。

2. 前向传播：
   输入数据穿过神经网络，算出输出。这中间会做线性组合，再通过激活函数引入非线性。

3. 计算损失：
   把模型输出和真实标签对比，算出损失（也叫误差）。选哪种损失函数看任务——回归任务常用均方误差，分类任务则偏爱交叉熵。

4. 反向传播：
   利用反向传播算法，从输出层开始，一层层算出损失对各个参数的偏导数，也就是梯度。

5. 参数更新：
   拿到梯度后，用优化算法（比如SGD、Adam、RMSprop）更新参数，目的是最小化损失函数。

6. 迭代训练：
   前面几步反复循环，直到模型在验证集上的性能达到理想水平，或者跑够了预设的轮数（epochs）。

好，那核心问题来了：

预训练的核心思想，是让模型先从数据里学到通用的特征和结构，这样它的泛化能力和适应性都会更强。它主要解决下面三个问题：

• 数据稀缺性：
  现实中，收集和标注大量数据既费时又烧钱，尤其在医学图像识别这些专业领域，获取标记数据更是难上加难。预训练技术让模型能从海量未标记的数据中先学通用特征，大大减少了对标记数据的依赖。

• 先验知识问题：
  深度学习模型通常是从随机初始化的参数开始学，但如果能带点“常识”或“直觉”起步，效果会好很多。预训练模型在大规模数据上已经学到了很多有用的先验知识，比如语言的语法规则、视觉的底层特征，这些都为新任务的学习提供了强力支撑。

• 迁移学习问题：
  迁移学习就是把一个任务上学到的知识，挪到另一个相关任务上用。因为预训练模型已经在大量数据上学会了通用特征，而这些特征在很多任务间是共享的，所以通过微调预训练模型，就能快速适应新任务。这不仅是知识迁移，更重要的是大大缩短了训练时间。

，就是用大量无标签或弱标签的数据，通过某种算法模型进行训练，得到一个初步具备了通用知识或能力的模型。

二、预训练的原理

预训练的技术

预训练是语言模型学习的第一阶段。在这个阶段，模型会接触海量未标记的文本数据，比如书籍、文章和网站。目标就是捕捉文本语料里那些底层的模式、结构和语义知识。

• 无监督学习：
  预训练通常是个无监督过程，模型在没有明确指导或标签的情况下，自己从数据里学。

• 屏蔽语言建模：
  模型会被训练去预测句子中被遮住的单词，从而学习上下文关系，捕获语言模式。

• Transformer 架构：
  预训练通常用基于Transformer的架构，因为它特别擅长捕捉长距离的依赖关系和上下文信息。

预训练的原理

它的原理可以概括为：以Transformer作为特征抽取器，选好模型结构，然后通过某种自监督学习任务，“逼着”Transformer从海量无标注的自由文本里学习语言知识。这些学到的知识以模型参数的形式，存储在Transformer结构中，供下游任务调用。

预训练的架构

大语言模型LLM的预训练采用了Transformer模型的解码器部分。因为没有编码器，所以大语言模型去掉了中间那层用来与编码器交互的多头交叉注意力层。

如下图所示，左边是Transformer模型的解码器，右边是大语言模型的预训练架构。

三、预训练的应用

GPT预训练

GPT模型的预训练使用了大量无监督数据，这些数据来自互联网上的各种文本，比如网页、书籍、新闻等。它同样用Transformer架构来学习语言的上下文信息。预训练的方式主要是基于自回归预测——模型根据当前的上下文，预测下一个token。这种方式让GPT能够生成连贯的文本序列，并逐步构建完整的句子或段落。其最终目标是最大化预测下一个词的概率，从而学习到词与词之间的依赖关系。

关于GPT的更多细节，可以参阅：神经网络算法 - 一文搞懂GPT（Generative Pre-trained Transformer）

BERT预训练

BERT模型同样利用大规模文本数据进行预训练，数据来源也是新闻、维基百科等互联网资源。它使用的同样是Transformer架构。但BERT的预训练方式与GPT不同，它没有用传统的从左到右或从右到左的语言模型，而是采用了两个无监督任务来学习语言的内在规律：掩码语言模型（MLM）和下一句预测（NSP）。

• 掩码语言模型（MLM）：
  MLM任务要求模型去预测输入序列中被随机遮盖住的词元。这有助于模型学习词汇的上下文表示。

• 下一句预测（NSP）：
  NSP任务则要求模型判断两个句子是否连续。这有助于模型理解句子之间的关系，并学习句子级别的表示。