先理解再动手！字节开源统一框架 Bernini，让 AI 视频编辑告别“碰运气”

人工智能视频生成与编辑领域正在经历一场底层逻辑的重构。字节跳动商业化技术团队最近开源了一个名为Bernini的统一框架，专门面向视频生成与编辑。这个框架的核心思路是一句话就能说清楚：先理解，再生成。传统的模型之所以在处理复杂文本指令时容易出现画面失控、帧间闪烁这类行业老问题，根源就在于它们对指令的理解还停留在表面——而Bernini要解决的，正是这个问题本身。

过去做视频编辑，最大的障碍莫过于主体变形、背景漂移或者动作断裂。Bernini的出现，算是给这些痛点提供了一个全新的解法。它把工作流拆成了两大块：语义规划和视觉渲染。简单来说，系统里的多模态大模型规划器会先对手头的输入素材做个深度解析——不管是文本、视频还是参考图像，统统在特征空间里先预测出目标语义表示，相当于画出一张不限定像素的“语义草图”；然后，由基于Diffusion Transformer的渲染器负责把这张草图转化成稳定、连续的视频画面。

正是因为这种分工设计，Bernini在可控编辑上展现出了非常扎实的实用价值。用户只靠一条指令，就能让画面里的天气、季节、材质、视觉风格发生逼真自然的变化，而且还能对镜头视角、焦点、主体动作进行精准的语义控制。举个例子，在保持环境和镜头高度稳定的前提下，系统可以让视频里动物的动作发生自然改变——这样一来，AI视频编辑对精准度的把握，就离传统后期软件更近了一步。

除了文本操控，Bernini还支持图片和视频作为视觉参考，这对创作一致性的提升非常明显。在视频编辑场景中，它能把特定材质、主体甚至广告海报精准植入目标区域，边界不会破，透视也不会乱；而在新视频生成场景中，模型支持单图参考生成、多角度参考生成、关键帧到连续镜头的演变，甚至能把几个看起来八竿子打不着的单品图像，完美组合到同一个视频角色身上。

另一个值得注意的技术细节是，团队为了解决多视觉片段串联时模型容易认混的问题，引入了SA-3D RoPE位置编码机制。这个机制的核心作用，是给不同的视觉片段打上专属标记，让模型在保留时空位置关系的同时，分清参考素材和输出目标。从字节自建测试的结果来看，这个框架的表现已经稳居行业第一梯队。目前，Bernini的推理代码与第二阶段模型Bernini-R的权限已经正式开放，包含完整MLLM规划器的全版本也会在近期解禁——值得持续关注。