智谱唐杰：万亿参数是行业早期的探索

智东西
编译 茄子
编辑 李水青

智东西8月19日报道，今天下午，智谱联合创始人、首席科学家唐杰在X平台发文，阐述了他对Scaling Law的理解，并解释智谱为何没有继续扩大GLM-5.3的参数规模，而是将这一轮训练重点放在长程任务环境和强化学习上。

▲唐杰发文（图源：X）

唐杰认为，讨论模型规模不能只问参数量，还要同时考虑训练数据规模、计算资源投入位置，以及模型最终由谁在什么条件下运行。参数量、预训练数据、单次前向计算深度和后训练都可以扩展，并不存在一个始终最值得增加的指标。

他回忆说，2020年的研究曾一度促使行业优先扩大参数量，GPT-3、Gopher和MT-NLG等模型都受到了这一思路的影响。然而，2024年发布的Chinchilla研究却提出，训练数据与参数规模需要采用更平衡的配置。基于此，唐杰认为，行业曾经集中追逐万亿参数模型，从事后看来，这是一段大家一起走过、又一起折返的弯路。

不过，Chinchilla也并非Scaling Law的最终形态。如今，模型每天会被调用数十亿次，推理成本在模型的整个生命周期中所占比例不断攀升，于是，最优方案开始朝着“规模更小、训练时间更长”的模型转变。此外，混合专家模型（MoE）的逐渐普及，也使得总参数量和每次实际激活的参数量需要分开考量。

唐杰称，总参数量更多影响模型能够容纳多少知识，激活参数量和有效计算深度则影响模型可以完成多长的推理链。对于漏洞发现等任务，仅记住更多漏洞信息并不够，模型还需要连续完成多步推理。

在GLM-5.3上，智谱没有改变GLM-5.2的基础模型、架构、总参数量和激活参数量，而是用一个月扩大长程任务环境和强化学习训练。唐杰称，由此获得的性能提升并非小幅改进。

他将模型扩展比作调节多个旋钮。这次智谱选择了剩余提升空间较大的后训练，但这并不意味着参数规模、预训练数据和单次前向计算已经不再重要。智谱后续仍可能继续扩大中期训练、预训练及其他环节。

唐杰的发文引发网友对Scaling Law下一阶段方向的讨论。有网友追问，后训练领域何时会出现类似Chinchilla的Scaling Law研究，以及GLM的强化学习曲线目前已经趋于平缓，还是仍有继续增长的空间。

▲网友对唐杰发文评论（图源：X）

另一位网友则以千问Qwen 3.8 27B及GLM-5.3为例，认为中小规模模型仍有提升空间，视觉能力和运行速度可能成为GLM系列接下来的升级方向。

▲网友对唐杰发文评论（图源：X）

还有一位网友则关注到如何提出问题。他认为，值得关注的不只是问题的表面答案，而是其背后更深层的结构，“能够提出好问题的人，比能够给出答案的人更加少见”。

▲网友对唐杰发文评论（图源：X）

以下是唐杰发文全文编译，智东西在不改变原意的基础上进行了编辑。

关于Scaling Law的一些思考

模型规模还在扩大，但扩展的不应只有参数量。

现在每次发布模型，最后几乎都会出现同一个问题：它有多少参数？

这个问题无法脱离其他条件单独回答。参数量只有与另外三个问题放在一起才有意义：拥有多少训练数据、准备把计算资源用在哪里，以及谁会在什么条件下运行这个模型。

这个领域通过实践付出了代价，才逐渐理解这一点。

Kaplan等人在2020年的研究中拟合出一项扩展规律，认为参数规模的增长速度应该快于数据规模，两者对应的扩展指数约为0.73和0.27。随后整个行业都遵循了这一方向，包括GPT-3、Gopher和MT-NLG。

Hoffmann等人在2024年重新对约400个模型进行实验，发现计算量最优的配置更接近每个参数对应20个Token。在拥有充足计算资源的情况下，参数量和数据量应该以接近相同的速度增长，而不是不断拉开差距。

早期拟合中的误差，会随着计算量每提高一个数量级而继续放大。因此，那一代规模最大的模型，也成为计算资源分配最不合理的模型。

回过头看，追逐万亿参数模型是整个行业一起走过、随后又共同折返的一段弯路。

但Chinchilla也不是终点。

Chinchilla优化的是模型训练阶段的计算量，其假设是模型只训练一次，随后接受评估。现在，一个模型每天可能被调用数十亿次，推理开始在模型全生命周期成本中占据主要位置。

如果把推理成本也纳入优化目标，最优方案就会向规模更小、训练时间更长的模型移动。这是一种有意进行的“过度训练”。Llama-2-7B和Gemma-2-9B采用的正是类似路线，两款模型平均每个参数分别对应约290个和889个训练Token。

稀疏模型的出现再次改变了优化目标。

在混合专家模型中，需要区分两个指标：总参数量大致决定模型能够容纳多少知识，包括事实信息和长尾知识；实际激活的参数量和有效计算深度，则大致决定模型能够完成多深入的思考，以及可以维持多少步因果推理而不发生崩溃。

因此，稠密模型中每个参数对应20个Token的比例不能直接套用到MoE模型上。

这个比例本身也不是一个固定数字。Roberts等人在2025年的研究发现，最优Token参数比与任务类型有关：记忆类任务更受益于增加参数量，推理类任务则更受益于增加训练数据。

后续针对MoE的研究还发现，在Token参数比不变的情况下，继续增加总参数量反而可能削弱推理能力；增加每次激活的专家数量，则能够更稳定地改善推理表现。

这与我们正在构建的能力有关。

寻找一项安全漏洞不是信息检索问题。它并不取决于模型记住了多少CVE漏洞记录，而在于模型能否完成一条包含20个步骤的推理链，并在到达终点前始终保持思路连贯。

这种能力并不存在于总参数量本身。

接下来谈谈GLM-5.3。

总参数量在达到某个阈值前仍然重要，模型首先需要拥有足够容量来容纳对世界的认识。但超过这一阈值后，更多能力需要从其他方向获得，包括提高每次前向计算的有效深度，尤其是扩大后训练。

GLM-5.3是我们针对这一判断进行的一次对照实验。

GLM-5.3采用了与GLM-5.2相同的基础模型、架构、总参数量和激活参数量。我们用一个月扩大长程任务环境及强化学习训练，最终取得的提升并不是小幅改进。

Scaling不只有一个旋钮。

这一次，我们选择调高后训练这个旋钮，是因为它仍然拥有最大的提升空间，而不是因为其他方向已经完成。

基础模型规模、预训练数据以及每次前向计算投入的计算量，仍然都是可以继续扩展的方向，我们也会重新回到这些方面。

这次实验让我们认识到，这些旋钮不必同时转动；下一步最值得调整的指标，通常也不是上一次最值得调整的指标。

我们并没有停止扩展。下一次，可能会轮到中期训练、预训练，甚至投入更多。

来源：X