NVIDIA开放世界模型如何加速物理AI发展

编者注：本文是洞悉 Omniverse 系列文章。“洞悉 Omniverse”重点介绍开发者、3D 从业者与企业如何使用 OpenUSD 以及 NVIDIA Omniverse 的最新进展深入改变他们的工作流。

今年 7 月，NVIDIA 与 200 多家公司和组织共同签署了《开放权重与美国 AI 领导地位》的公开信。这封公开信指出，衡量 AI 领导力的标准并不是任何单一的前沿模型，而是取决于开放生态系统是否覆盖到每个行业。

任何人都可以下载、检查、修改并在自己的基础设施上运行开放模型，这使上述愿景成为可能。这一点在物理 AI 领域至关重要，在该领域每一次部署都是一个专业化问题。

物理 AI 要理解和预测结果，而不仅仅是表象。

为了实现这一点，世界模型需要学习物理环境的行为方式、接下来可能发生的情况以及哪些后续行动是合理的。它们能够生成物理基础世界和动作数据，模拟未来状态，并为团队提供一个其可以根据机器人、智能汽车或视觉 AI 系统进行专业化的基础。

开放世界模型已被用于生成训练数据、测试策略和专业化的物理 AI 系统。NVIDIA Cosmos 3 将这些功能整合到一个开放模型系列中，在基准测试中取得了领先的结果，并在机器人、智能汽车和视觉 AI 领域获得广泛采用。

此外，NVIDIA Omniverse 库作为 NVIDIA Agent Toolkit 的一部分，为构建面向仿真的世界提供预构建功能，物理 AI 团队可以在现实世界部署之前使用这些功能来训练、测试和验证系统。

世界模型是物理 AI 的基础

物理 AI 背后的数据很难收集且在所需规模下成本高昂。罕见事件和长尾场景尤其难以安全、反复地重现。

世界模型能够实现：

通过从大规模多模态场景中学习物理关系，获取更多有用数据。

更具多样性的环境，包括不同的天气、光照、物体和轨迹。

更好的基础，以便在此基础上进行构建和适配特定的机器人、车辆、传感器配置、任务或操作环境。

通用模型并未针对特定团队的机器人、传感器或运行环境进行过训练。要缩小这一差距，需要获取模型权重、获得允许进行适配的许可证，以及后训练所需的工具。

NVIDIA Cosmos 世界基础模型在 Linux 基金会的 OpenMDW 1.1 许可下可用，使团队能够在自己的数据和硬件上对模型进行后训练。专业化方面，开放性已成为一项切实的技术要求。

模型专业化只是工作流的一部分。团队还需要环境来生成数据、运行仿真和测试行为。

Omniverse 库可帮助开发者构建面向仿真的环境，同时 OpenUSD 为跨数字孪生、仿真和合成数据生成工作流组合、重用和交换复杂的 3D 数据提供了开放框架。Omniverse 和 OpenUSD 协同工作，减少了每次资产、传感器配置或环境条件发生变化时可能累积的重复性工作。

Cosmos 3：前沿模型

NVIDIA Cosmos 3 是一套走在前沿的开放式物理 AI 基础全模态模型，底层采用

开发者可以将 Cosmos 3 用作视觉语言模型、预测未来世界状态并生成大规模合成数据的符合物理规律的世界模拟器、或是用作世界动作模型的主干网络，而无需为每种功能组装和维护单独的模型。

该系列包括用于高保真世界建模的 Cosmos 3 Super (64B)、用于高效推理和后训练的 Cosmos 3 Nano (16B)，以及用于端侧视觉推理和机器人策略部署的 Cosmos 3 Edge (4B)。Cosmos 3 Edge 足够轻量，可在边缘 GPU 上运行，支持在 NVIDIA RTX GPU、NVIDIA DGX 系统以及包括 Jetson Thor 在内的 NVIDIA Jetson 平台上部署。

在各项基准测试评估中，Cosmos 3 在 Artificial Analysis 的开放权重文本生成图像和图像生成视频类别、PAI-Bench 的世界生成类别以及 Physics-IQ 的图像生成视频类别中均排名第一。在机器人策略方面，它在 RoboLab 上排名第一。Cosmos 3 Super 也是 VANTAGE-Bench 视觉理解类别排名最高的开放模型。

除了 Cosmos 之外，NVIDIA 物理 AI 软件栈还包括面向机器人领域的 Isaac GR00T、用于智能汽车领域的 Alpamayo 和用于视觉 AI 领域的 Metropolis。

开发者如何将 Cosmos 3 投入使用

各行各业的开发者正在基于 NVIDIA Cosmos 构建物理 AI 应用：机器人领域包括斗山机器人、LG 电子、三星电子和 Skild AI；智能汽车领域包括理想汽车、小米和 Afari；视觉 AI 智能体方面则有 Centific、FogSphere、Linker Vision、Milestone Systems 和 Yuan 赋能工业 AI 和智能空间应用。

NVIDIA Cosmos Coalition 把世界模型开发者、AI 开发者以及物理 AI 领域的领先力量汇聚到同一个协作框架中，围绕模型、研究成果和评估方法展开共同建设，也让这项工作的边界进一步被打开。最近，NVIDIA 又将这一联盟拓展到了日本，当地机器人与制造业领域的领军企业正计划加入其中，面向工厂、物流、农业、建筑、医疗和交通运输等场景开发开放世界模型。

这些实施和协作共同将开放世界模型作为机器人、智能汽车和视觉 AI 系统中物理 AI 的适应性基础。