ECCV 2026 | 实时导演多镜头长视频! 港中文\u0026快手可灵发布ShotStream

这项研究从根本上改变了传统思路：它不再把多镜头合成看作一个需要一次性处理所有信息的任务，而是将其定义为基于历史上下文的下一镜头生成任务。用户可以通过动态的流式提示词，在生成过程中实时指导叙事走向。更让人兴奋的是，ShotStream在单张H200 GPU上就能实现16 FPS的推理速度，相比传统双向模型，效率提升了25倍以上，为实时互动故事创作铺平了道路。

这项研究已被计算机视觉顶级会议ECCV 2026接收，训练、测试代码和模型也已经全部开源。

要在低延迟下实现流式生成，同时保证多镜头之间的连贯性，ShotStream做了几项关键创新：

• 首个实时流式多镜头长视频生成架构。
  用户可以在生成过程中，通过流式提示词动态调整正在发展的故事情节，突破了传统双向架构的限制，真正实现了交互式叙事。

• 高效的双缓存记忆框架。
  为了保证多镜头间的一致性，ShotStream提出了一个双缓存记忆机制。其中，全局缓存负责保证跨镜头间的一致性，局部缓存则维持单镜头内的流畅性。但问题在于，直接使用双缓存会导致自回归生成中的时序错乱——模型在流式生成时可能会混淆信息。为了解决这个问题，研究团队提出了RoPE旋转位置编码残差，对双缓存进行区分。这不需要引入任何额外复杂模块，就能消除歧义，确保蒸馏过程的稳定性。

• 两阶段自强制（Self-Forcing）蒸馏策略。
  模型在流式生成长视频时，最怕的就是误差累积。为了应对这个问题，ShotStream采用了两阶段自强制蒸馏策略，实现了训练和推理的一致性，让模型学会在不完美的条件下自我纠偏，有效克服了多镜头长视频的误差累积。

首先，研究团队将双向文生视频模型微调为一个双向的“下一镜头”教师模型，使其具备根据历史帧生成下一个镜头的能力。同时，为了避免数百帧的历史镜头导致显存爆炸，作者设计了

，提取出稀疏的历史上下文帧。随后，通过Token拼接机制，将上下文特征与目标噪声送入DiT模型。

接下来，利用分布匹配蒸馏（DMD）技术，速度较慢的双向教师模型被蒸馏为一个

，从而实现了25倍以上的推理加速和16FPS的实时生成。

在多镜头自回归生成中，模型很容易混淆历史画面和当前正在生成的画面。为此，作者巧妙设计了

：全局缓存负责存储稀疏条件帧以维持跨镜头一致性，局部缓存负责存储当前镜头刚生成的帧以维持单镜头内的一致。

考虑到同时查询两个缓存会带来时间维度上的歧义，作者对模型原有的旋转位置编码进行了改进，提出了

。具体做法是，在每次镜头切换的边界处，对时间维度的RoPE施加一个离散的相位偏移。这显式地解耦了全局与局部上下文，让模型无需引入任何额外的复杂网络模块，就能精准地区分不同缓存，确保了蒸馏过程的稳定性。

自回归生成长视频最大的痛点在于误差累积。为了缓解这个问题，作者设计了

：第一阶段，在单镜头内利用真实的Ground-Truth历史画面进行训练，让模型具备基础的下一个镜头生成能力；第二阶段，跨镜头利用模型作为条件进行训练。两阶段训练策略解决了训练与推理之间的差异，逼迫模型学会在自己的不完美中进行纠偏，大幅提升了多镜头长视频的画质稳定性和连贯性。

ShotStream在跨镜头一致性、镜头切换控制、文本对齐度等各项多镜头长视频核心指标上，均显著优于或比肩Mask2DiT、CineTrans等现有双向模型，以及LongLive等自回归模型。同时，实现了16FPS的实时生成。

ShotStream作为首个多镜头长视频生成模型，凭借其创新的双缓存记忆机制及两阶段蒸馏方法，以及单卡16FPS的卓越性能，证明了实时流式多镜头长视频生成模型的巨大潜力。同时，其模型与训练、测试代码的开源，也将为社区的相关研究提供强有力的支持，有望推动AIGC视频创作进入一个交互更实时、叙事更自由的新阶段。