实现视频“边播边改”，京东开源JoyAI-Video-Edit模型，性能全球领先

直播间里，服饰主播试完白色上衣，观众又想马上看到蓝色款是什么效果，可蓝色款不在身边怎么办？视频聊天时，和朋友畅想穿越到古代当侠客，怎么能让美好的想象瞬间变为精美视频呈现给大家？

8月5日，京东宣布开源自研的

实时流式视频编辑模型JoyAI-Video-Edit

，彻底破解上述难题。用户可以一边观看视频，一边修改人物与场景，让视频创作从“先有素材再修改”变为可实时互动编辑。在流式实时视频编辑方向，JoyAI-Video-Edit对比当前业内代表性模型，各项指标全面领先，达到世界一流水平。

01

视频处理速度快，还可生成任意时长

做视频实时编辑，速度往往是第一道坎。毕竟视频是由一帧帧画面连续播放构成的，一旦模型处理速度跟不上播放节奏，卡顿和延迟就不可避免。JoyAI-Video-Edit 依托全自研的 JoyAI-Video 模型，在 720P 分辨率下跑出了每秒 30 帧的推理速度。这意味着，它不仅能扛住高清晰度带来的算力压力，更能稳稳跟上常见影视视频的播放节奏。

视频时长，一直是流式编辑绕不开的一道门槛。此前，这类模型通常只能处理几秒到分钟级的片段；而JoyAI-Video-Edit把这件事往前推了一大步，支持任意时长的稳定流式编辑，视频一边持续播放，系统就能一边持续处理。这样一来，用户无需等整段视频全部生成完毕，就能在播放过程中实时修改场景、替换物体、调整人物形象，或直接切换画面风格，真正做到“边观看边创作”。

▲支持边观看边编辑、边直播边创作

例如，创作者可以让视频中的人物连续更换服装，在直播中把普通街道变成动画世界，也可以在家装设计中尝试不同的家具、墙面和灯光效果……视频创作由一次性生成变成了可以持续调整的过程。

▲实时看到家装效果

JoyAI-Video-Edit的实时流式编辑能力，可为零售营销、家装设计、影视制作等大量真实场景带来新的技术支持：服装与商品展示视频可以快速更换人物穿搭、商品和背景；家装视频可以实时切换家具与装修风格；影视创作者也可以更快尝试人物造型、场景和视觉效果，减少重复拍摄与整段返工。

▲实时改变人物穿搭与直播商品

02

实测性能全面领先同类模型

为了评估模型能力，研究团队将JoyAI-Video-Edit与SANA Streaming、LiveEdit、Xmax-X2.0等国际上有代表性流式视频编辑模型进行对比。

结果显示，在覆盖典型视频编辑场景的评测数据中，JoyAI-Video-Edit整体效果全面领先。

▲J

oy

AI-Video-Edit在流式视频编辑中兼顾速度与质量，明显优于代表性流式模型，达到离线模型水平

在业界权威的OpenVE-Bench通用评测中，

模型超越了目前所有的流式编辑方法，

在全局风格、局部替换、局部删除和字幕编辑等任务中优势尤其突出，大幅领先行业同类模型。这意味着，JoyAI-Video-Edit在保持实时流式处理优势的同时，也能准确理解编辑意图、稳定完成多类常用编辑任务，兼顾编辑速度与画面效果。

03

京东物理世界模型矩阵进一步完善

不止视频创作，JoyAI-Video-Edit还为具身智能数据大规模合成提供了新的技术路径。机器人训练需要大量物体抓取、搬运与操作视频，但真机数据采集成本较高，危险或少见场景也难以反复采集。依托对场景、物体与画面内容的可控编辑能力，JoyAI-Video-Edit可将人手操作视频转化为机械手或机械臂操作素材，并在保留物体位置、空间关系与动作轨迹的基础上，替换场景、物体与机器人形态，让一段视频扩展出更多训练样本。

▲

将人手转换为机械手

当前，京东正在加速建设全球最大物理世界运营中心，并已经形成面向物理世界的JoyAI模型矩阵：JoyAI-Image-Edit让AI理解与编辑空间，JoyAI-Echo面向长音视频生成，JoyAI-VL-Interaction让AI持续观察并实时回应，JoyAI-Talker提供实时语音交互能力，JoyAI-RA面向机器人操控，形成覆盖语音、图像、视频、实时交互与具身智能的基础模型体系。JoyAI-Video-Edit进一步提升了实时视频编辑能力，并为具身智能大规模数据合成积累底层技术。

JoyAI-Video-Edit模型的开源，标志着京东物理世界模型矩阵进一步完善。京东将持续向开发者与行业开放模型能力，让AI加速在物理世界发挥真正价值。

目前，JoyAI-Video-Edit已开源，开发者与内容创作者可通过下方链接获取模型，体验实时视频编辑能力并探索更多应用场景。

https://huggingface.co/jdopensource/JoyAI-Video-Edit

https://github.com/jd-opensource/JoyAI-Video-Edit

END