跻身全球第一梯队！京东开源JoyAI-Echo框架：解决长视频生成三大难题

6月3日消息，今日，

目前，JoyAI-Echo代码与权重已全部开源，项目页和GitHub代码仓库均已上线，开发者和创作者可进行体验和二次开发。

京东表示，JoyAI-Echo的推出，标志着京东在长视频生成领域实现重大突破，进入全球第一梯队。

据了解，

实测结果显示，在长达5分钟的视频中，角色身份、视觉形象和声音音色均能保持高度一致，避免出现“同一个人演着演着变成另一个人”的问题。

同时，京东提出记忆驱动后训练流程，结合SFT、跨模态RLHF和Distribution Matching Distillation（DMD）技术，在提升生成质量的同时实现推理加速。

其中，

此外，JoyAI-Echo还加入智能“导演助理”Director Agent，用户只需用自然语言描述需求，它就能自动拆分剧本、角色、场景和镜头。

如果生成结果中有局部镜头不满意，

为满足专业内容生产需求，JoyAI-Echo还配套实时超分模块，支持736 x 1280提升至1152×1920，以及736×1280提升至1472×2560两档分辨率。

通过单步超分，JoyAI-Echo可生成高分辨率视频和精细化音频，即便在流式延迟约束下，也能保持稳定高清表现。

评测方面，研究团队基于100个故事、3000个镜头构建了专门的长音视频生成评测集，对JoyAI-Echo进行多维度测试。

结果显示，JoyAI-Echo在跨镜头一致性、视频质量、文本一致性和语音内容准确率等核心指标上均取得领先表现，其中语音内容准确率达到0.8646，领先行业其他同类模型。

配图由AI生成