ECCV 2026 | 实时导演多镜头长视频! 港中文&快手可灵发布ShotStream

先说几个核心判断：多镜头长视频生成，正在从“盲盒式”的碰运气，走向“实时导演”的掌控感。

想象一下，你正坐在监视器前，一边审片一边实时调整剧情走向，这不再是科幻电影里的场景。香港中文大学MMLab与快手可灵团队联合提出的ShotStream，正在把这种“实时导演”的体验变成现实。

过去，生成几秒的单镜头已经不是难事。但一旦涉及多镜头长视频，体验就有点像开盲盒：写几百字剧本，把所有分镜提示词一次性喂给模型，然后等半小时。只要中间崩了一个镜头，就得全部推倒重来，缺乏交互性而且延迟极高。

ShotStream的突破在于，它打破了传统双向架构的限制，把多镜头合成重新定义为基于历史上下文的“下一镜头生成”任务。这意味着用户可以通过动态流式提示词，在运行时实时指导叙事走向。更关键的是，这个模型在单张H200 GPU上就能跑出16 FPS的推理速度，相比双向模型，效率提升了25倍以上。

该工作已被计算机视觉顶级会议ECCV 2026接收，训练、测试代码和模型均已开源。

• 论文标题：ShotStream: Streaming Multi-Shot Video Generation for Interactive Storytelling
• 项目主页：https://luo0207.github.io/ShotStream/
• 论文：https://arxiv.org/pdf/2603.25746
• 代码：https://github.com/KlingAIResearch/ShotStream

ShotStream 能力展示

更多例子请参阅原论文与项目主页。

ShotStream 创新点

要在低延迟下实现流式生成，同时保证多镜头间的连贯性，ShotStream在架构设计上做了三件事：

首先，它提出了首个实时流式多镜头长视频生成架构。用户可以在生成过程中通过流式提示词动态调整故事情节发展，这在以前是不可能的。传统双向架构需要看到所有帧才能生成，而ShotStream真正实现了交互式叙事。

其次，设计了一个高效的双缓存记忆框架。全局缓存负责存储稀疏条件帧，保证跨镜头间的一致性；局部缓存则负责存储当前镜头刚生成的帧，维持单镜头内的流畅。但直接使用双缓存会带来一个棘手问题：自回归生成中，模型容易混淆历史画面和当前正在生成的画面，导致时序错乱。为此，作者提出了RoPE旋转位置编码残差，在每次镜头切换的边界处对时间维度的RoPE施加一个离散的相位偏移，从而显式解耦了全局与局部上下文。整个过程无需引入额外复杂模块，干净利落。

第三，提出了一种两阶段自强制蒸馏策略。自回归生成长视频最大的痛点在于误差累积，生成的画面会逐渐偏离轨道。作者设计的两阶段训练，第一阶段用真实的历史画面训练，让模型掌握基础能力；第二阶段用模型自己生成的历史画面作为条件，逼迫模型学会在不完美中自我纠偏。这种训推一致的策略，有效克服了多镜头长视频的误差累积。

ShotStream 算法解读

阶段一：双向下一个镜头预测模型训练

具体来说，首先将双向文生视频模型微调为一个双向的“下一镜头”教师模型，使其具备根据历史帧生成下一个镜头的能力。为了避免数百帧的历史镜头导致显存爆炸，作者设计了动态采样策略，提取出稀疏的历史上下文帧。随后，通过Token拼接机制，将上下文特征与目标噪声送入DiT模型。

阶段二：因果模型蒸馏

接着，利用分布匹配蒸馏（DMD）技术，将缓慢的双向教师模型蒸馏为一个仅需4步去噪的流式因果学生模型。这一步直接带来了25倍以上的推理加速，实现了16FPS的实时生成。

双缓存机制与不连续RoPE

在多镜头自回归生成中，模型很容易混淆历史画面和当前正在生成的画面。双缓存记忆机制通过全局缓存存储稀疏条件帧维持跨镜头一致性，局部缓存存储当前镜头刚生成的帧维持单镜头内的一致。但问题是，同时查询两个缓存会带来时间维度上的歧义。作者对模型原有的旋转位置编码进行了改进，提出了不连续RoPE——在每次镜头切换的边界处，对时间维度的RoPE施加一个离散的相位偏移。这显式地解耦了全局与局部上下文，让模型无需引入任何额外复杂网络模块，就能精准区分不同缓存，确保蒸馏过程的稳定性。

两阶段自强制蒸馏

自回归生成长视频的最大痛点在于误差累积。为了缓解该问题，作者设计了两阶段自强制蒸馏训练：第一阶段，在单镜头内利用真实的Ground-Truth历史画面进行训练，让模型具备基础的下一个镜头生成能力；第二阶段，跨镜头利用模型自己生成的历史画面作为条件进行训练。两阶段训练策略解决了训练与推理之间的差异，逼迫模型学会在自己的不完美中进行纠偏，大幅提升了多镜头长视频的画质稳定性和连贯性。

实验结果

在跨镜头一致性、镜头切换控制、文本对齐度等各项多镜头长视频核心指标上，ShotStream均显著优于或比肩Mask2DiT、CineTrans等现有双向模型，以及LongLive等自回归模型。同时，实现了16FPS的实时生成。

总结

ShotStream作为首个多镜头长视频生成模型，其创新的双缓存记忆机制及两阶段蒸馏方法，加上单卡16FPS的卓越性能，验证了实时流式多镜头长视频生成模型的巨大潜力。模型与训练、测试代码的开源，也将为社区提供强有力的支持。可以预见，AIGC视频创作正在进入一个交互更实时、叙事更自由的新阶段。