谁在打造欧洲最大的基础大语言模型

俄罗斯联邦储蓄银&行（Sber）可不只是一家银&行。近年来，它在生成式AI上持续发力，已经成为俄罗斯该领域的领头羊，甚至打造了欧洲最大的基础语言模型。这次我们和GigaChat基础模型的技术总监费奥多尔·明金聊了聊，他负责整个GigaChat产品线，团队刚发布了新旗舰——GigaChat 3.5 Ultra。这款模型体积直接砍掉了将近一半，生成长文本的速度最高提升了四倍，在代码、数学和智能体场景下表现更稳健。核心是采用基于线性注意力的自有架构，并且已经开源。以下是对他的专访。

费奥多尔·明金，GigaChat基础模型首席技术官

想象一下，模型处理一份100页的合同时，整个文本都得一直留在记忆里，对话一长，记忆就塞满了。每次新请求，模型都得从头重新处理整个上下文，长文档处理自然又慢又贵。我们押注线性注意力——它让模型能一次性记住所读内容的关键点，并在工作过程中持续补充记忆。这样一来，处理长文本时速度最高提升四倍。不仅如此，我们还将模型体积缩小了近一半，部署起来更便宜、更容易。当然，当时最大的不确定性是：提升速度、缩小体积的同时，能不能保持模型的智能和质量？团队做了超过1500次实验，才找到那个平衡点。最终，我们推出了目前开源领域规模最大的线性注意力模型之一。

模型规模每向上跃升一个台阶，成本增长都是不成比例的。到了某个节点，公司为换取微小的质量提升，得砸进去巨量资源。我们是通过效率来界定这个边界的——也就是单位算力下，模型能带来多少实际价值。GigaChat 3.5 Ultra的体积比上一代小了一半，但在多项指标上已经逼近远为庞大的开源模型（比如DeepSeek 3.2）。这说明，只要架构和数据选得对，小体量完全能和大体量模型掰手腕。行业正经历一个重要转折：今天，关键已经不是谁堆的算力更多，而是谁能通过精妙的工程从现有资源里榨出最大价值。对我而言，合理扩展首先意味着审慎支配每一次计算。

市场正经历向自主智能体的重要转变。自主智能体从定义上讲必须独立行动：执行需要长步骤链的任务，并在每一步做出决策、重新审视此前行动、读取外部信号并进一步规划。技术上，要求模型同时具备多项能力：良好的规划能力、为特定任务选择合适的工具、在极长上下文中保持注意力，以及——尤为关键的是——自行评估结果的可靠性。后者目前还远远不够。说实话，当今的主要限制甚至不是架构上的，而是组织层面的：企业内部真实的业务流程几十年没变过。真正的规模化智能体应用，不会始于模型再聪明一点点，而是始于企业开始重新审视工作模式本身。技术需要新的角色与责任分配——什么可以完全交给机器，什么必须有人类确认。

人工生成的数据依然是模型质量的基石——只有它们才承载真正的专业经验，以及人类思维那鲜活多样的意外方案。合成数据在需要精度和规模而非多样性的场景下表现不错，比如训练数学或代码的逻辑推理。但如果合成数据成为世界知识的主要来源，而不是精准工具，模型就会开始从自身的反射中学习：一个模型的错误和模式会固化到另一个模型中，文本变得缺乏生气。所以在新模型的训练数据集里，我们侧重了经过精心筛选的人工撰写文本。

全球的独立开发者社区往往比内部团队更快发现代码的弱点和优化点。这样一来，围绕模型就能更快形成工具和集成的生态系统，我们也能获得这些改进。开源模型是证明实力的诚实方式：任何人都可以测试、复现结果，验证各项基准测试的正确性。伴随GigaChat 3.5，我们还发布了若干训练检查点——模型在不同阶段的中间版本，可以追溯从训练开始到最终状态的演化过程。世界上开源模型越多，整个市场就越强大。我们努力朝这个方向前进，即便部分行业正朝相反方向移动。

Transformer在未来两三年内肯定不会消失，毕竟业界对它的投入太大，研究也太透彻了。但过去一年，Transformer内部的变化相当大：线性注意力、稀疏注意力变体、混合专家架构纷纷涌现。这其实是在旧地基上长出的新一代架构，行业大部分会朝这个方向走。同时，更具风险的方向也很有趣——扩散语言模型，它们不是逐词生成文本，而是先一次性勾勒出整个片段，再精化细节。目前这类模型在质量上还有差距，但它们有潜力将长回答生成速度提升数倍，我们内部已经在做实验。不久前我们发布了一款实验性模型GFusion，正是探索语言模型的扩散方法。有意思的是，这个模型最初是团队一名实习生的项目，他成功推进到发布，现在已经转正了。