清华联合腾讯混元斩获MLSys2026MoE推理挑战赛冠军，NPU推理提速4.1倍

最近，国际机器学习系统顶会MLSys 2026的MoE模型推理优化挑战赛结果揭晓，来自清华大学存储实验室与腾讯混元AI Infra团队的联合方案，从一众顶尖对手中脱颖而出，拿下了全球冠军。

这张示意图清晰地展示了他们核心的优化结构，涵盖了E-Shard专家切分、连续DMA、PSUM/GEMV并发、冷启动流水和预取控制等关键技术点。

这次夺冠的关键，除了上述精巧的系统设计，还有一个“秘密武器”——团队联合研发的、基于Agent的推理算子优化器“Knight”。这个工具实现了一个从方案提出、代码落地到复盘迭代的自动化闭环，极大地拓展了优化的搜索空间，让很多过去靠人工难以穷尽的优化可能性得以实现。

效果是立竿见影的。最终，这套方案将模型的端到端推理时间从14.91秒大幅压缩到了3.56秒，性能加速比达到了4.1倍。更值得关注的是单步解码延迟的优化，从12.63毫秒降到了5.45毫秒。而在权重加载期间，DMA引擎的利用率也提升到了80%左右，这意味着硬件资源的利用效率得到了显著改善。

能够在Stanford、MIT等国际顶尖高校团队的竞争中胜出，这份成绩单的含金量不言自明。它不仅仅是一枚奖牌，更清晰地表明，我们在面向大模型的底层系统适配与核心算子优化领域，已经积累了相当深厚的工程实践能力。这项成果也为未来在超节点算力平台上，高效部署万亿参数级别的MoE大模型，提供了一个极具参考价值的工程范本。