十倍加速开源SORA！AI实时生成视频新技术

# 实时视频生成已实现！十倍加速开源SORA

先说几个核心判断：AI实时视频生成的技术瓶颈正在被突破。近期，新加坡国立大学与普渡大学的研究团队联合提出了一项名为

的技术方案，专门针对基于DiT架构的视频生成模型进行推理加速。

自从OpenAI展示SORA模型以来，行业内外对AI视频生成的期待被推向了一个前所未有的高度。但现实是——至今我们仍未见到该模型的公开发布。想必很多关注者早已等得有些心焦。

这背后有一个关键问题：这类模型在推理阶段的

，生成单个视频往往需要大量计算时间，这在很大程度上了其在实际场景中的普及。因此，加速模型的推理过程变得。

技术背景

研究团队在深入分析注意力机制在视频扩散变压器中的表现时，发现了一个有趣的现象：在整个推理过程中，注意力随时间的步长变化呈现出明显的

——前15%和最后15%的步长变化显著，而中间70%的步长变化相对较小。

基于这一观察，团队提出了

。简单来说，在变化较小的中间阶段，将一个时间步的注意力输出广播到后续多个步长，从而。这种策略不仅了计算成本，还在的前提下，实现了的速度提升。

金字塔结构的设计逻辑

根据三种注意力的差异性，研究团队为它们设定了不同的广播范围。注意力差异越小，可广播的范围就越广。在实际运行时，注意力结果被广播到接下来的几个步骤，绕过重复的注意力计算。此处提到的Xt，即指时间步t的特征。

此外，团队还对动态序列并行（DSP）方法进行了改进：通过广播时间注意力，

，进一步提升了生成速度。

技术表现

在8个NVIDIA H100 GPU上进行的测试表明，PAB的加速效果相当显著。单GPU条件下，速度提升

；而在多GPU环境下，速度提升。

从数据上看，三个模型在LPIPS以及SSIM上的指标表现也均有改善。以下视频分别是Open-Sora、Open-Sora-Plan和Latte三个模型在使用原始方法与PBA时的效果对比。

<iframe allowfullscreen="" frameborder="0" src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3522787351091003398"></iframe> <iframe allowfullscreen="" frameborder="0" src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3522787666200674307"></iframe>

值得注意的是，PBA在不同GPU数量下均实现了明显的FPS加速效果。

https://oahzxl.github.io/PAB/

总结

金字塔注意力广播技术为实时视频生成带来了真正的突破。它

即可显著提升生成速度，为未来基于DiT的视频生成模型赋予了更强的实时能力。

技术的突破固然令人振奋，但更值得期待的，或许是未来模型的成功发布——届时，这些研究成果将真正为生成式AI应用打开新的大门。