一文彻底搞懂大模型 - 人工神经网络与贝叶斯网络

人工神经网络（ANN）的历史，可以说就是大模型发展的前传。今天大家讨论的大模型，尤其是那些动辄数十亿甚至上千亿参数的深度学习模型，它们的根基，无一例外都是ANN。这些模型通过堆叠更多的隐藏层、塞入更多的神经元、配上更复杂的非线性激活函数，最终才构建出能处理自然语言、图像识别这些复杂任务的深度神经网络。

一、大模型与人工神经网络的关系

什么是人工神经网络？

通俗来说，人工神经网络是一套模仿生物大脑神经元工作机制的计算模型。它的结构分三层：输入层负责接收外部数据，中间是隐藏层（可以有很多层），最后是输出层。每一层都有若干个神经元（也叫节点），它们通过带权重的连接线互相通信。

神经元并不是简单地把信号传过去——它需要通过一个非线性函数（比如sigmoid或ReLU）来决定是否“激活”。正是这个机制，让网络有能力去学习现实世界中那些复杂的非线性关系。

大模型和ANN是什么关系？

一句话：LLM的核心就是ANN。确切的说，LLM是基于ANN构建的、规模和复杂度都更高的深度学习模型。具体来看，有以下几个关键点：

1. 预训练模型（PLM）
   ：这类模型通常用互联网上海量的文本数据来训练——语料库动辄就是几十亿乃至几千亿个单词。经过大规模无标注数据的预训练，模型掌握了语言的普遍规律和共性，随后可以通过微调去适配各种NLP的具体任务。

2. 数据 + 算力
   ：这两者是基础。算力提供支撑，数据提供驱动。整个流程走的是“无监督预训练，有监督微调”这条路径。

3. 权重w和偏置b
   ：模型的全部秘密都藏在每层的权重和偏置项里。训练过程就是通过反向传播算法不断调整这些参数，目标是让损失函数最小化。

所以链条很清晰：LLM ⊃ DL ⊃ ANN。大模型，归根结底是站在ANN的肩膀上发展起来的。

二、人工神经网络与贝叶斯网络的关系

什么是贝叶斯网络？

贝叶斯网络（BN）是一个基于概率推理的图模型，用来表示多个变量之间的依赖关系。它由两部分构成：

• 有向无环图（DAG）
  ：图中的节点代表变量，有向边代表依赖关系。如果A指向B，就意味着A的状态会影响B。

• 条件概率表（CPT）
  ：每个节点都附带一张表，详细列出了在给定父节点状态的情况下，当前节点取各个值的概率。

ANN和贝叶斯网络的共同点

一个有趣的事实是：ANN和贝叶斯网络，都属于有向图模型。在它们各自的框架里，每个节点的取值或状态只依赖于它的直接前驱——这遵循的就是马尔可夫假设。这种结构让模型能够清晰地表达出变量之间的因果依赖链条。

说白了，无论是ANN还是贝叶斯网络，它们的核心逻辑都是通过有向边来“画”出变量之间的关联。区别在于，ANN更侧重通过大量数据和参数来拟合函数，而贝叶斯网络则更偏重概率推理和不确定性建模。两者各有侧重，却共享相似的数学骨架。

对于从事AI研究或工程的人来说，理解ANN不是终点，而是基石。贝叶斯网络则提供了一种从概率视角理解依赖关系的工具。在构建更智能、更鲁棒的模型时，这两者都值得深入掌握。