英伟达开源 TwoTower AI 模型：保留 98.7% 质量，Token 生成提速 2.42 倍

7月3日，英伟达正式发布了一款名为Nemotron-Labs-TwoTower的新模型，并同步在Huggingface上开放权重。这次开源背后的核心思路其实很直接：

先看几个关键参数。模型总参数量60B，采用独特的双塔（TwoTower）架构——一个30B的自回归模型/上下文塔（context tower），外加一个30B的扩散/降噪塔（denoising tower）。每个塔激活3B参数，搭配128个可路由专家。听起来有点复杂，但本质上是将传统扩散语言模型中混杂的网络任务拆开，让两个独立的神经网络各司其职。

具体来说，上下文塔保持冻结状态，专门维护文本的自回归上下文；去噪器塔则负责训练，对噪声块进行去噪。两个塔通过逐层交叉注意力连接协同工作。这个设计的最大亮点在于：分工明确，互不干扰，从而在不牺牲太多质量的前提下，大幅提升生成速度。

那么实际效果如何？英伟达给出的基准测试数据显示，双塔架构保留了98.7%的综合质量，但实际运行时的吞吐量提升了2.42倍。附上对比结果：

从表格能清晰看到，在大多数任务上TwoTower模型与纯自回归模型持平或略微下降，但生成吞吐量直接翻了一倍多。对于需要高频推理的生产环境来说，这2.42倍的加速意味着成本和时间上的显著优势。授权协议方面，采用NVIDIA Nemotron Open Model License，开发者可以直接在Huggingface上下载权重进行二次开发。