Nemotron-Labs-Diffusion - 英伟达开源的三模式语言模型

Nemotron-Labs-Diffusion是什么

NVIDIA最新推出的Nemotron-Labs-Diffusion，本质上是一个“三栖”语言模型——在一个架构里，同时整合了自回归、扩散和自我推测解码三种能力。它通过联合AR-扩散目标进行训练，可以在不同并发场景下自由切换模式，始终保持高吞吐量。目前这个系列包含3B、8B和14B三个参数量级的版本，每个都有基础版、指令版和视觉语言版。从准确率和速度两个维度看，它在现有开源的AR和扩散语言模型中都属于第一梯队。

Nemotron-Labs-Diffusion的主要功能

• 三模式解码切换
  ：AR、扩散、自我推测三种解码模式，核心差异在于注意力模式，切换起来非常干净利落。

• 块级扩散并行生成
  ：把序列切成块，在块内实现双向并行解码，单次前向就能生成多个token。

• 自我推测草稿验证
  ：扩散模式负责并行生成多个token作为“草稿”，AR模式在同一模型内进行验证。共享KV缓存，不需要额外的预测头。

• 视觉语言理解
  ：视觉语言模型变体可以理解图像并完成图文推理，多模态的边界被进一步拓宽。

• 高效推理部署
  ：支持FP8低精度格式，配合SGLang框架在GB200 GPU上实现高吞吐量服务。

Nemotron-Labs-Diffusion的技术原理

技术层面，有几处设计非常关键。

是它的根基。模型同时优化自回归的next-token损失和块级扩散的去噪损失，通过加权组合（α=0.3）找到平衡。AR目标为扩散提供了从左到右的语言先验，这样扩散训练就不会在任意token排列上浪费容量；反过来，扩散目标又增强了模型的前瞻规划能力，一石二鸟。

也很讲究。第一阶段只用AR目标预训练，帮模型建立稳固的左到右语言归纳偏置；第二阶段才开启联合训练，让扩散梯度进来补充，实现两种目标的和谐共处。

是保证双目标可行性的关键。训练时使用双流输入：噪声流中的token在块内做双向注意力，跨块做因果注意力，同时关注干净流里已生成的前缀；干净流则保持严格的因果掩码。这样一来，AR目标和扩散目标可以在同一次前向-反向传播中联合计算。

解决了扩散目标中梯度方差的问题。因为不同样本的噪声token数量不一样，如果按常规求平均，少数高权重的噪声样本会不成比例地影响批次梯度。所以直接按批次中所有token平等加权，简单粗暴但有效。

最后是

。扩散模式配合基于采样轨迹优化的采样器来提升并行度；自我推测模式还可以加一个LoRA草稿适配器，增强草稿质量，进一步提高接受率和实际设备效率。

如何使用Nemotron-Labs-Diffusion

• 安装依赖
  ：运行 pip install "transformers>=5.0" torch peft 等命令，准备好Python和GPU环境。

• 获取模型
  ：从HuggingFace拉取 nvidia/Nemotron-Labs-Diffusion-8B 等模型权重以及对应的分词器。

• 选择模式
  ：根据并发水平选择——高并发用AR模式、最大化并行用扩散模式、低延迟场景用自我推测模式。

• 运行脚本
  ：使用 chat_ar.py、chat_dlm.py 或 chat_linear_spec.py 等官方脚本进行单轮或多轮对话。

• 服务部署
  ：基于SGLang框架启动推理服务，配置Linear Self-Speculation与FP8精度，可以接入生产环境。

Nemotron-Labs-Diffusion的核心优势

• 三模式统一架构
  ：单一模型同时掌握AR语言先验与扩散并行规划能力，不用再维护多套模型和管线。

• 吞吐量显著提升
  ：8B模型单次前向解码的token数能达到Qwen3-8B的6倍，在GB200上SPEED-Bench吞吐量提升4倍。

• 自我推测优于MTP
  ：自我推测模式的接受率和实际设备效率都比多token预测（MTP）方法更高。

• 双目标和谐训练
  ：全局损失平均与两阶段策略有效平衡了双目标梯度，避免了模式间的容量竞争。

• 场景自适应切换
  ：通过切换注意力模式就能适配云侧高并发和端侧低并发场景，不需要改造架构。

Nemotron-Labs-Diffusion的项目地址

• HuggingFace模型库
  ：https://huggingface.co/collections/nvidia/nemotron-labs-diffusion

• arXiv技术论文
  ：https://arxiv.org/pdf/2607.05722

Nemotron-Labs-Diffusion的同类竞品对比

• 实时对话助手
  ：低并发场景下用自我推测模式，实现低延迟交互式AI对话，提升用户体验。

• 云推理服务
  ：AR模式适配高并发批量请求，充分利用GPU计算密度，降低云端部署成本。

• 代码与数学推理
  ：扩散模式增强前瞻规划，适合需要多步逻辑推导的编程辅助和数学求解任务。

• 端侧本地推理
  ：8B模型可以在个人设备运行，三模式切换适配不同负载，保障数据隐私。

• 视觉语言应用
  ：视觉语言模型变体支持图像理解与图文问答，适用于智能文档分析与多模态交互。

Nemotron-Labs-Diffusion的应用场景

• 实时对话助手
  ：低并发场景下使用自我推测模式，实现低延迟交互式AI对话，提升用户体验。

• 云推理服务
  ：AR模式适配高并发批量请求，充分利用GPU计算密度，降低云端部署成本。

• 代码与数学推理
  ：扩散模式增强前瞻规划，适合需要多步逻辑推导的编程辅助和数学求解任务。

• 端侧本地推理
  ：8B模型可以在个人设备运行，三模式切换适配不同负载，保障数据隐私。

• 视觉语言应用
  ：视觉语言模型变体支持图像理解与图文问答，适用于智能文档分析与多模态交互。