NVIDIA面向智能汽车、机器人和视觉AI的智能体技能，开启物理AI研究新时代

在今年的 CVPR 上，NVIDIA 直接甩出了几项硬核新技能——专门为物理 AI 打造的智能体能力，目标很明确：让智能汽车、机器人和视觉 AI 系统的开发效率再上一个台阶。

先说说辅助驾驶这块。过去我们总说“数据是燃料”，但光靠车队实际跑出来的里程，数据量还是不够。NVIDIA 这次的做法是，让 AI 智能体自己学会“变戏法”——基于车队采集的真实数据，自动完成场景重建，然后生成合成场景。这里面有几个关键技术值得深挖：神经重建技能可以把车队数据直接转成可编辑的 3D 场景，这意味着仿真和合成数据生成可以更灵活、更高效。而像 Omniverse NuRec、InstantNuRec、Harmonizer 和 HiGS 这些加速渲染器，则进一步提升了重建速度、场景真实度，还能生成新视角。再搭配上开源的闭环强化学习框架 NVIDIA AlpaGym，研究人员从环境搭建、策略执行到最终评估，整个流程被打通了。最重磅的更新是，NVIDIA 还推出了一个强大的开放驾驶基础模型——NVIDIA Alpamayo 2 Super，这无疑给自动驾驶研究注入了一剂强心针。

再来看视觉 AI 系统。NVIDIA Metropolis 新增的技能，核心思路是让 AI 智能体自己“创造”训练数据——比如生成包含各种异常情况的合成视觉场景，或者对已有数据进行增强和伪标注。这些技能之所以能落地，背后靠的是 Cosmos 3 的混合 Transformer 架构。简单说，这个架构先用推理 Transformer 分析观测结果，再把指令输入给生成模块，最终输出一个符合物理规律的虚拟世界。这恰恰是突破数据瓶颈的关键所在。

机器人学习领域同样有动作。借助 NVIDIA 的机器人开发技能，研究人员可以让 AI 智能体自动完成场景准备、仿真和机器人学习这些最繁琐的开发步骤。支撑这一切的，是 Omniverse 库、Isaac Sim 和 Isaac Lab 框架。更值得一提的是，在医疗健康机器人方向，NVIDIA 推出了 Cosmos-H-Surgical-Simulator——通过生成逼真的手术机器人数据，来支持策略训练和评估。这意味着机器人可以在虚拟环境中“练手”，等到真刀真枪上阵时，已经具备了相当扎实的经验。

最后，NVIDIA 还在持续扩展物理 AI 的研究基础设施，尤其是在数据集方面下了重注。目前，NVIDIA 物理 AI 数据集在 Hugging Face 上的下载量已经突破了 1500 万次，其中 Isaac GR00T X Embodiment Sim 甚至成了下载量最高的机器人数据集之一。这次新发布的数据集包括：GRAIL，包含了大约 50 小时的人形机器人交互数据；另外还有六个合成视频数据集，分别用于机器人、物理、数字人、辅助驾驶、仓库安全以及空间推理等领域的 Cosmos 3 训练。对于研究社区来说，这些资源无疑是宝贵的“弹药”。