李飞飞署名具身新论文：Sim2Real烧不起，Real2Sim量大管饱

还在聊Sim2Real？现在机器人圈更火的是Real2Sim！

最近，英伟达

联合团队、等机构，一起搞了个大动作——发布了一套全新的Real2Sim系统，名叫。

这玩意儿有多厉害？只需要一段真实世界的视频，它就能自动生成一个完全可交互、可训练、可评测的机器人仿真环境。

但别以为它仅仅是做个3D场景重建这么简单。

SimFoundry最牛的地方在于，它能在保持物体功能和可供性（Affordance）不变的前提下，自动更换物体、调整场景布局，甚至凭空生成新的操作任务。换句话说，一段真实视频，不再只能得到一个仿真场景，而是能自动扩展出

。

这样一来，SimFoundry不仅能用来训练机器人，还能比较靠谱地预测不同机器人策略在现实世界里的真实表现。

更绝的是，在SimFoundry生成的数据上训练出的策略，能够

，在多步操作、双臂协作、带关节物体操作等多个任务上完成真实世界迁移。

这背后到底是怎么实现的？我们来好好拆解一下。

一段视频，生成无限训练场景

SimFoundry的核心思路，说白了就是打通了

的整个Real-to-Sim闭环。

一直以来，机器人策略的训练都高度依赖真实世界数据。但真实机器人采集数据，既贵又慢，还很难规模化。即便模型训练完了，到了真机测试环节，同样面临场景有限、测试成本高这些老大难问题。

正因如此，研究人员开始把

当作训练和评估机器人策略的一种可扩展替代方案。借助自动化数据生成技术，能用极低的人力成本合成大量多样、高质量的训练数据，持续提升机器人在真实世界中的泛化能力。

与此同时，越来越多的研究发现，只要仿真环境足够逼真，它的评测结果和真实世界的机器人表现之间往往有很强的一致性。

但问题也跟着来了：搭建一个具备真实几何、物理属性和交互能力的仿真环境，本身就需要大量人工建模，工作量一点没少。

于是，近两年

逐渐成了具身智能领域的热门方向。简单来说，就是用3D重建和生成模型，把真实世界快速转换成支持物理交互的仿真就绪（Sim-ready）环境，从而大幅降低人工搭建仿真场景的成本。

但现有的Real-to-Sim方案，往往都只解决了其中一个环节。有的擅长重建3D场景，却没法生成训练数据；有的能进行策略评测，但又得靠大量人工配置，很难扩展到丰富的场景和任务。

基于这个痛点，SimFoundry的思路就是把场景构建、数据生成、策略评测和策略训练串成一条完整的流水线。整个系统主要干三件事：

• 自动重建可交互、可仿真的数字孪生（Digital Twin）；
• 自动扩展物体、场景和任务三个层面的数字表亲（Digital Cousins），持续生成训练数据；
• 利用这些仿真环境同时完成策略评测和策略训练，形成从真实世界到仿真、再回到真实世界的完整闭环。

（注：数字孪生是对真实场景的精确复刻；数字表亲则保持场景的功能和交互方式不变，但会对物体、布局或任务进行合理变化。）

为了实现这个目标，SimFoundry设计了一套三阶段流水线。

三阶段流水线

SimFoundry的整体流程并不复杂，可以概括成三个阶段：

。一句话总结就是：先理解真实世界，再搭建数字世界，最后批量创造新的数字世界。

系统输入一段普通RGB视频后，先利用深度估计恢复三维点云，再通过视觉语言模型（VLM）和SAM 3等分割模型，把场景中的物体逐个识别、分割出来。每提取一个物体，就用图像修复（Inpainting）将其从画面中移除，然后继续找下一个目标，直到整个场景被解析完。

对于提取出的每个物体，SimFoundry会用2D-to-3D模型生成三维网格，并结合FoundationPose等模型恢复其真实位姿；对于抽屉、柜门这类关节物体，还会自动推导出关节结构。

同时，系统会进一步补充质量、摩擦力等物理属性，生成碰撞模型并修复穿模问题，最终导出能在IsaacLab等物理引擎中直接运行的仿真场景，完成数字孪生的构建。

这是SimFoundry最核心的创新点。在数字孪生的基础上，系统会进一步自动生成数字表亲（Digital Cousins），主要从三个维度扩展：

• 改变物体外观和几何形态，但保持功能不变（Object Cousins）；
• 调整物体布局或加入新物体，生成新的场景（Scene Cousins）；
• 根据场景中的物体及其可供性，自动推导新的机器人操作任务（Task Cousins）。

换句话说，一段真实视频，不仅能重建出一个数字孪生，还能自动扩展出大量保持相同行为语义的新物体、新场景和新任务，为机器人提供几乎无限的训练数据。

实验验证

为了验证SimFoundry是不是真的能代替真实世界进行机器人训练和评估，研究团队在两套机器人平台、7类典型操作任务上做了实验，分别验证了Real-to-Sim策略评估和Sim-to-Real策略训练两项核心能力。

先说策略评估。实验结果显示，SimFoundry中机器人的表现与真实世界高度一致，平均皮尔逊相关系数达到0.911，平均最大排名违例（MMRV）仅0.018，比之前的SOTA框架PolaRiS有明显提升。

这意味着，研究人员可以在仿真中比较准确地预测策略在真实机器人上的表现，不用再反复进行昂贵的实机测试了。

更大的亮点来自论文提出的数字表亲（Digital Cousins）。研究发现，相比只用数字孪生训练，引入Object、Scene和Task Cousins之后，机器人在真实世界中的平均任务成功率分别提升了17%、21%和40%。

同时，仅靠SimFoundry自动生成的数据训练出的策略，就能零样本部署到真实机器人，在多个操作任务上取得接近满分的成功率。

作者介绍

最后来看看这篇文章的作者阵容，可以说是相当豪华了。几乎汇集了NVIDIA GEAR、佐治亚理工学院、斯坦福大学、UT Austin和多伦多大学等机构的核心研究者。

第一作者Nadun Ranawaka Arachchige来自佐治亚理工学院，目前在NVIDIA GEAR实习，师从徐丹飞；Josiah Wong、Jiangyun Fan等人来自李飞飞团队；Tianyuan Dai来自朱玉可课题组，此前同样在李飞飞团队学习过；Masoud Moghani是NVIDIA GEAR与多伦多大学联合培养博士；Hang Yin曾参与BEHA VIOR项目，现已加入OpenAI。作者名单里还包括Jim Fan、李飞飞、徐丹飞、朱玉可、Ajay Mandlekar、Ruohan Zhang、Wenbowen等机器人领域知名研究者。

参考链接

[1]https://arxiv.org/pdf/2606.28276v1

[2]https://research.nvidia.com/labs/gear/simfoundry/