视频能“边播边改”：京东开源自研 JoyAI-Video-Edit 模型，各项指标全球领先

8月5日，京东正式开源了自研的实时流式视频编辑模型——JoyAI-Video-Edit。这项技术最直观的突破在于：视频终于可以“边播边改了”。你不再需要先准备好素材，再一段段剪辑，而是能在播放过程中直接修改人物和场景，让创作变成一个实时互动的过程。

京东方面表示，在流式实时视频编辑这个方向上，JoyAI-Video-Edit 对比当前业内代表性模型，各项指标全面领先，达到了世界一流水平。这背后有几个关键门槛需要跨过。

首先就是速度问题。视频由一帧帧连续画面组成，如果模型处理速度跟不上播放速度，卡顿和延迟就会立刻暴露。JoyAI-Video-Edit 基于全自研的 JoyAI-Video 模型，在720P分辨率下实现了每秒30帧的模型推理速度。这意味着什么？在保持较高画面清晰度的同时，它已经能跟上常见影视视频的播放节奏，彻底告别“卡着等”的体验。

视频长度则是另一道门槛。此前的流式编辑模型大多只能处理几秒或分钟级的片段，而 JoyAI-Video-Edit 支持任意时长的稳定流式编辑——视频可以持续播放，模型就持续处理。用户不必等待整段视频生成完成，就能在播放过程中实时修改场景、替换物体、调整人物形象或改变画面风格。简单说，就是“边观看边创作”。

举个例子：创作者可以让视频中的人物连续更换服装，在直播中把普通街道变成动画世界，或者在家装设计里尝试不同的家具、墙面和灯光效果。这些操作都不需要中断播放，画面会实时响应。

为了评估模型的实际能力，研究团队将 JoyAI-Video-Edit 与 SANA Streaming、LiveEdit、Xmax-X2.0 等国际上有代表性的流式视频编辑模型进行了对比。结果很直观：在覆盖典型视频编辑场景的评测数据中，JoyAI-Video-Edit 整体效果全面领先。尤其是在业界权威的 OpenVE-Bench 通用评测中，它超越了目前所有的流式编辑方法，在全局风格、局部替换、局部删除和字幕编辑等任务中优势尤其突出，大幅领先行业同类模型。

不过，这项技术的价值不止于视频创作。它还为具身智能数据的大规模合成提供了新的技术路径。机器人训练需要大量物体抓取、搬运与操作视频，但真实机器人采集数据成本高，危险或少见场景也难以反复采集。依托对场景、物体与画面内容的可控编辑能力，JoyAI-Video-Edit 可以将人手操作视频转化为机械手或机械臂操作素材，在保留物体位置、空间关系与动作轨迹的基础上，替换场景、物体与机器人形态。这样一来，一段视频就能扩展出更多训练样本，大大降低数据获取门槛。

附 JoyAI-Video-Edit 开源地址如下：

https://huggingface.co/jdopensource/JoyAI-Video-Edit

https://github.com/jd-opensource/JoyAI-Video-Edit