扩散模型自引导新范式 SSG：直接交换Token就能变强！ | CVPR 2026 Oral

本文入选 CVPR 2026 Oral

CVPR（IEEE Conference on Computer Vision and Pattern Recognition）是 IEEE 旗下极具代表性的国际计算机视觉与模式识别会议，核心议题一直围绕计算机视觉与模式识别技术展开。就 CVPR 2026 来看，投稿量约为160920篇，接收率约为25.42%。

论文主页：Guiding a Diffusion Model by Swapping Its Tokens

扩散模型又被“玩出新花样”了。

一直以来，提高扩散模型生成质量的关键手段，是在推理阶段加入引导（guidance），但是缺点也很明显：要么依赖文本条件（如CFG）——需要专门的训练策略，没有文本条件就不能用；要么靠显式加噪破坏模型推理——然而效果有限。

现在，一种全新的思路来了：

不需要文本条件，不加噪声，不改模型，只在内部交换token。

来自上海交大和vivo的研究者提出了一种十分简单但非常有效的方法——自交换引导（Self-Swap Guidance, SSG）。该工作已被CVPR 2026国际会议接收为Oral。

一句话总结：

通过在空间和通道维度上交换token特征，把模型“搞差”，再用这个“变差”的路径去指导自己的生成。

听起来简单，但却十分奏效。

一、现有方法有什么问题？

当前主流的引导方法是CFG (Classifier-Free Guidance)：简单来说，就是用“有条件输出”和“无条件的输出”做差，得到从“没那么符合语义”到“更加符合语义”的预测的一个方向，引导模型朝更这个由差到好的方向走，从而引导出更符合语义的生成

但它有一些主要的局限性：

• 必须依赖文本（prompt）的存在（没文本引导不了）
• 需要专门的训练过程（随机丢掉文本条件输入）
• 高Guidance Scale时容易过饱和、细节崩坏、多样性下降……

最近也有人尝试“无条件引导” （condition-free guidance），也就是不需要依赖文本也能够进行引导，比如：

• SAG （往输入加噪声）
• PAG/SEG (往attention加噪声)
• TSG (往timestep向量加噪声)

但这些方法有个共同的问题：扰动添加的粒度比较粗——要么可能不够强，要么太过头。结果就是小扰动没什么引导效果，大扰动直接让图变得没法看。

图1 现有的无条件引导方法在低引导系数下生成质量欠佳，在高引导系数下出现图像失真、过饱和、高噪声等现象。相比之下，自交换引导（SSG）的生成质量对引导系数更加鲁棒稳定

二、SSG 的核心想法：不加噪声，只做“结构性”

SSG的思想非常简单：与其加噪声，不如直接对部分特征进行“重排”。具体做法是，对于模型内部的token特征进行两个维度上的随机交换：空间维度自交换（spatial self-swap）和通道维度自交换（channel self-swap）。

在实践中，研究者发现随机选择token或者channel 对进行交换就能起到比较明显的引导作用，而两两交换“最不相似”的一些token或channel对，引导效果最好，图片质量最佳。其原因在于可以实现更加充分的破坏，而不需要全局加噪。

具体做法是，使用两个前向推理分支。其中一个不做任何改动，原封不动地让预训练模型输出噪声预测（ϵori）。另一个分支会在模型的特定层执行自交换扰动，先在空间维度进行一些最不相似token的交换，再在通道维度进行一些最不相似通道的交换，最后得到经过扰动的噪声预测（ϵpert）。

在推理的每个时间步上，用两个分支的噪声预测做差，用这个方向对原始噪声预测进行一个修正，修正的强度由引导系数omega控制，这一引导过程与CFG很相似：

这种引导在每个时间步都会做一次，指导所有推理步都走完，就获得了经过引导生成的质量更高的样本，就是这么简单。

三、实验结果

研究者在无条件、有条件生图的设置下，使用COCO2014、COCO2017、ImageNet等多种真实图像数据集验证SSG的引导效果。在这些实验中，SSG在多个指标上超过了现有的SAG、SEG、PAG等无条件引导方法。

表1 SD1.5模型无文本条件生图在ImageNet上的定量实验结果

表2 SDXL模型有文本条件生图在COCO 2017上的定量实验结果

具体来看，定量评估体系涵盖了FID（分布差异）、CLIP Score（文本遵循度）、Inception Score（质量与多样性），以及AES、PickScore、ImageReward等主观视觉指标。针对无条件生成场景，还引入了Precision和Recall以进一步量化质量与多样性表现。在这一系列严苛的指标下，SSG均展现出了卓越的竞争力。

图2 SDXL模型的定性实验结果

通过对比实际生图效果，可以发现SSG可以更稳定地生成较高质量、更加自然的图片，在有文本条件的生成设置下，与文本的一致性更好。

表3 Token交换策略的消融实验。随机交换的性能已经超过多个现有方法，而“最不相似”交换策略可以获得更优的生成质量。

研究者对于不同的交换策略进行了对比，其中随机交换就已经能实现相当不错的引导效果，甚至比此前的方法都要好。交换最不相似的token特征在两项人类偏好分数上更优，整体上实现更佳的指标权衡。

表4 空间与通道交换策略的消融实验。通道交换效果整体优于空间交换，二者结合使用可以实现图像质量和美学感知分数的最佳权衡。

图3 通过可视化可以发现空间交换与通道交换的引导模式差异明显

通过对空间、通道两种交换技术进行消融实验，可以验证两种方法都能有效地引导生成，通道交换的效果整体上优于空间交换，而两种交换同时使用可以实现更好的总体效果。因此可以说两种交换在一定程度上互补——对其引导模式的可视化也展现出明显的区别。

四、一些其他探讨

SSG与同期工作TPG都在特征的空间维度上引入了扰动设计——SSG选择部分token进行空间上的位置交换，而TPG直接对所有token进行随机重排列。在指标上来说，SSG的最不相似token交换方案略优于TPG的token随机重排列，而计算开销也大于后者。此外，SSG首次揭示了特征通道维度上的扰动对于引导扩散模型的显著效果，并且发现通道维度扰动的引导效果显著优于空间维度，这一现象为后续设计更高效的引导机制提供了新的思路。

至于该研究的局限性，首先是缺少系统性的理论支撑，以及其方法性能对于扰动添加的具体层位置较为敏感。这些也是扩散模型引导系列工作普遍存在的问题。因此，如何从理论层面对其有效性进行解释，并设计更鲁棒的扰动机制，仍是值得深入探索的方向。

另外，在模型内的多个层分别计算token相似度会引入一定程度的计算开销，对SSG计算效率的优化也将是具有实际意义的后续课题。