全球首个！京东全栈开源JoyAI-VL-Interaction：让大模型边看边说

来源:互联网 更新时间:2026-06-22 17:24

6月22日消息，京东正式开源JoyAI-VL-Interaction实时视频视觉语言交互模型，这是全球首个全栈开源的视觉交互模型与整套部署系统。

上线即原生适配vLLM-Omni，彻底改变传统多模态模型“一问一答”的交互模式，实现AI持续观看实时画面、自主判断、主动响应的流式交互能力。

持续读取摄像头、监控、直播等实时视频流，自主识别关键事件并主动提醒，无事件时自动保持静默，无需人工触发指令，例如监控识别火情、老人摔倒可即时预警。

面向正在发生的画面流式处理，而非等完整视频上传后复盘，满足安防、实时翻译、直播讲解等对时效性要求高的场景。

遇到复杂推理、代码生成、工具调用等重任务时，可委托后台Agent处理，前台模型不间断持续观测画面，任务完成后无缝接续交互。

不同于多数仅开放模型权重的项目，本次开源包含模型权重、专属交互数据集、完整训练方案、全套可部署工程框架，支持灵活替换语音模块、可视化界面、第三方Agent与业务接口。

兼容摄像头、监控流、直播流多路视频输入，自带长期记忆、语音收发、vLLM快速部署能力，可快速搭建各类实景AI工具：居家老人儿童看护、安防自动预警、直播实时解说、电商导购、智能眼镜无障碍辅助、工业操作指导等。

在覆盖监控预警、实时计数、实时翻译、直播解说等58组真人盲测案例中，

这源于交互模型相较传统“一问一答”的回合制模型的天然优势：自主交互性长在模型内部，而非依赖外部触发。

类型：角色扮演

大小：未知

语言：简体中文

平台：互联网

游戏下载