越灵活越差？阿里与清华论文揭示扩散大模型推理能力的灵活性陷阱

最近，阿里与清华的一篇合作论文拿下了AI顶会ICML的杰出论文奖。ICML的杰出论文是什么概念？每年录用的论文上千篇，但只有千分之一的机会能拿到这个荣誉——通常是两到三篇，代表着当年最具影响力的工作。这篇题为The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models（灵活性陷阱：重新审视扩散语言模型中任意顺序生成的价值）的论文，正是其中之一。

^{图说：2026年7月5日，ICML 2026 主席团公布两篇杰出论文名单，阿里巴巴与清华大学合作的论文入选。}

扩散语言模型（dLLM）是近两年被寄予厚望的下一代架构，Google的Gemini Diffusion、人大团队的LLaDA都属于这个方向。传统的大语言模型生成文本就像打字，从左往右逐token生成，而dLLM的一大特点是生成顺序可以任意选择——不必从左到右，理论上拥有更大的解空间。但这篇论文第一次提出了一个尖锐的质疑：当面对数学、编程这类通用推理任务时，任意顺序生成非但帮不上忙，反而可能是个陷阱。

问题出在哪？研究发现，那些不确定性高的关键逻辑节点——比如“因此”“所以”这类词——就像是推理路径上的分叉口。从左向右的顺序下，模型必须在这些分叉口当场作出选择，生成下一个token，不能绕过去。但如果是任意顺序生成，模型会本能地避开这些难点，优先处理那些容易的部分。等到回头再填充这些关键节点时，上下文已经基本确定，原本的分叉口变成了填空题——答案被前后文锁死了。选择权在不知不觉中被消解，研究者把这个现象称为“熵退化”。

^{图说：从左向右的自回归顺序（a）迫使模型在每个逻辑分叉口做出选择；任意顺序（b）绕过难点，优先处理容易部分，导致推理路径被提前锁死。（图片翻译自论文）}

数据也印证了这一点。在HumanEval代码生成测试中，从左往右顺序能解出、但任意顺序解不出的题目占比21.3%，反过来只有0.6%。而且，顺序的自由度越大，推理性能就越差。

基于这个发现，团队提出的解决方案简洁得有些出人意料——叫“JustGRPO”。思路就是：在强化学习训练阶段直接放弃任意顺序，强制模型从左到右生成，用普通的GRPO算法就够了。GRPO是一种主流算法，让模型对同一道题生成多组答案，通过组内对比来优化策略。此前，为dLLM设计强化学习算法面临不少工程难题：生成顺序不固定，导致无法准确归因每个词对结果的贡献，各团队不得不引入各种复杂的方案。而“JustGRPO”的思路近乎大道至简——就像大家都在给左手练力量，有人问：为什么不直接用右手？

训练完成后，模型的推理速度不受影响，推理效果却大幅提升。在GSM8K（业界衡量大模型推理能力的标准测试集，包含约8500道多步推理小学数学应用题）上，“JustGRPO”达到了89.1%的准确率，全面超越了d1、ESPO、SPG、GDPO等所有专为扩散模型设计的复杂强化学习算法。

^{（附：论文下载地址 https://arxiv.org/abs/2601.15165）}