GPT从BERT借鉴了哪些方法和技术？

先说说GPT和BERT这对“双子星”。虽然GPT（Generative Pre-trained Transformer）生来就是单向生成式的，而BERT是双向判别式的，架构和预训练目标天差地别，但如果你仔细梳理GPT系列（尤其是GPT-2往后的版本）的发展脉络，会发现它从BERT身上“偷师”了不少东西。BERT在2018年一鸣惊人，证明了大搞预训练、搞大规模模型这条路走得通，这给后续的GPT-2和GPT-3提供了重要的方向感。

下面就来拆解一下，GPT到底从BERT借鉴了哪些方法和思路。

1. 大规模预训练

BERT用大规模语料做预训练的效果惊艳了所有人，GPT-2和后续版本跟进得非常果断——说白了，这条技术路线是被BERT验证过的，GPT自然没有理由不抄。

2. 任务无关的预训练

BERT教会了我们一件事：不用针对每个任务单独设计特征，一个通用语言表示就能搞定很多事。GPT把这个理念直接拿过来，预训练出来的模型不绑定任何具体任务，后续微调就行。

3. 微调范式

“预训练 + 微调”这个范式是BERT发扬光大的。GPT-2/3几乎原封不动地采用这套流程：先在大规模数据上训一个基座模型，再对不同下游任务做少量参数微调，效果立竿见影。

4. 子词标记化

BERT用WordPiece做子词切分，效果不错。GPT-2在此基础上改用了byte-level BPE（字节对编码），虽然技术细节有差异，但“把词拆成更细粒度的子词单元”这个思路，明显受到了BERT的启发。

5. 位置编码

两者都靠位置编码来告诉模型“词在句子里的顺序”——虽然GPT用学习到的位置嵌入，BERT用正弦余弦函数，但本质都是为了解决Transformer本身没有顺序感知的问题。这个共识显然是从BERT那里得到了强化。

6. 注意力机制的重要性

BERT进一步证明了自注意力机制在捕获长距离依赖方面有多强大，GPT系列接着把这个长板越做越长。可以说，BERT让整个行业更坚定地相信“注意力就是一切”。

7. 模型规模的重要性

BERT-large参数量达到3.4亿，在当时已经算庞然大物，而且效果确实更好。GPT-2直接推到15亿参数，GPT-3更是到了1750亿——这种“越大越强”的信仰，很大程度上是被BERT的成功案例点燃的。

8. 多任务能力

一个预训练模型能适应多种下游任务（分类、问答、序列标注等），BERT最早展示出这种灵活性。GPT-2/3也做到了，甚至通过上下文学习（in-context learning）把多任务能力推到了新高度。

9. 上下文学习

BERT的掩码语言模型（MLM）训练让模型学会了充分利用上下文信息。虽然GPT用的是自回归方式，但“如何更好地处理上下文”这个课题，BERT在方法论上提供了重要参考。

10. 迁移学习的有效性

BERT证明了：在预训练阶段学到的知识可以高效迁移到各种NLP任务上。GPT系列把这一思想进一步发扬光大，甚至做到了零样本和少样本迁移。

11. 无监督学习的潜力

BERT仅靠无监督文本就能学到丰富的语言知识，这给GPT系列打了一针强心剂。后来GPT-3的大规模无监督预训练，正是沿着这个方向走到了极致。

12. 注意力可视化和解释性

BERT引入的注意力可视化工具（比如注意力热图）后来也被用来分析GPT模型的内部行为，帮助研究者理解黑盒中的决策逻辑。

13. 领域适应

BERT在医疗、法律等垂直领域的成功应用，启发了GPT团队去探索领域特定的适应性研究。虽然GPT本身更偏通用，但领域微调的路子是从BERT那学来的。

14. 评估方法

BERT时代建立的一些评测基准（如GLUE、SQuAD等），后来也被用来衡量GPT模型的性能。说白了，拿什么尺子量，BERT先给出了标准答案。

15. 伦理考虑

BERT在早期引发了不少关于模型偏见和伦理的讨论，这些讨论最终也影响了GPT模型的开发策略——比如数据筛选、输出控制等方面的改进，背后都有前车的警示。

回到开头那个判断：GPT和BERT虽然在架构上有本质区别，但BERT作为“预训练语言模型”这个范式的奠基者之一，它的成功为GPT系列铺了一条成熟的路。GPT-2和GPT-3并非凭空创新，而是在BERT开创的范式上做了大胆的调整和扩展。这种借鉴和创新的结合，才真正推动了NLP领域的快速迭代。