热门搜索:和平精英 原神 街篮2 

您的位置:首页 > > 教程攻略 > ai资讯 >通用机器人迎来“珠峰级”考试:人类登顶满分,最强AI还在山脚

通用机器人迎来“珠峰级”考试:人类登顶满分,最强AI还在山脚

来源:互联网 更新时间:2026-07-20 13:50

具身智能时代,通用机器人策略离“登顶”还有多远?现有基准恐怕还回答不了这个问题。

问题出在哪儿?不少基准依赖的任务要么太简单、要么太短程,或者技能范围太窄。仿真评估效率高、容易扩展,但很难反映真实物理世界的部署能力;而真实世界评估虽然更贴近实际部署,成本高、耗时长,可复现性也是个难题。

针对这一困境,来自香港大学、加州大学伯克利分校、清华大学、北京大学等机构的研究团队,联合提出了一个面向仿真与真实世界的统一评估基准——

RoboDojo

。它覆盖了多样、长时程、高精度、依赖记忆,以及开放式操作场景,可以说是为当前机器人策略做了一次“全面体检”。

论文链接:https://arxiv.org/abs/2607.04434

实验数据摆在眼前:

现有通用机器人操作策略

远谈不上可靠。即便是当前最先进的模型,在RoboDojo的复杂任务面前也表现挣扎,真实世界部署的成功率只有12.8%,而人类遥操作的表现几乎是满分。

基于这些结果,研究团队建立了

公开排行榜

,系统梳理了当前策略在仿真与真实世界中的

局限

,并指明了未来通用操作策略的

关键方向

图|RoboDojo 概览。

RoboDojo:统一的机器人评估基准

从整体架构来看,RoboDojo以五类核心操作能力定义了仿真基准,并通过仿真评估平台、真实世界评估平台和XPolicyLab共同完成从任务构建、策略训练、部署到评估的完整闭环。

图|RoboDojo 任务概览。

仿真基准覆盖了五类核心操作能力:

泛化、记忆、长程执行、精细控制与开放指令理解

。通过42个任务,系统性地诊断策略在不同操作能力上的短板。

  • 泛化任务

    测试策略对未见背景、光照、目标和杂物的适应能力;
  • 记忆任务

    考察历史信息的利用情况;
  • 长程任务

    评估策略完成多步骤操作序列的能力;
  • 精细控制任务

    聚焦窄孔插入等高精度接触操作;
  • 开放任务

    测试策略能否将已学技能迁移到未见语言指令和新目标。

从系统构成来看,RoboDojo由仿真评估平台、真实世界评估平台和XPolicyLab三部分构成,具体如下:

仿真平台:

负责

任务构建、资产生成、并行评估和数据采集

。任务和场景通过配置文件定义,不同物体被构建为数字孪生资产;评估时,平台可并行运行多个场景以提升效率;采集数据时,简单任务可自动生成轨迹,复杂任务则通过VR遥操作获取高质量示范。

图|RoboDojo 中的技能多样性。

真实世界评估:

强调

可复现性

。通过统一硬件、工作空间、光照、场景重置和评估协议,减少真实机器人实验中的偶然因素。RoboDojo-RealEval则借助触摸屏界面和布局叠加机制,规范任务重置与执行流程。

图|真实世界任务亮点。

XPolicyLab:

统一策略开发、训练、评估与部署流程。通过标准化数据转换、训练模板、部署流程和observation-action接口,降低策略接入成本。

此外,RoboDojo还设立了仿真与真实世界双榜单

:仿真榜单围绕五类能力反复评估,并以资深VR遥操作员为人类参考;真实世界榜单基于RoboDojo-RealEval,在3种机器人本体、18个任务上评估10个代表性策略,统一重置、部署与评分协议。

图|RoboDojo-RealEval 系统概览。

RoboDojo 的评测结果如何?

研究团队发现,

现有通用机器人操作策略整体仍不可靠

:即便是当前领先模型,也与人类专家存在显著差距,而且仿真中的优势未必能延续到真实部署中。不过,RoboDojo本身具备较好的评估效率和可复现性。具体结果如下:

1.仿真结果

目前领先策略仍远低于人类水平:

目前领先模型包括Hy-Embodied-0.5-VLA、Spatial Forcing、π0.5、X-VLA等,但最佳策略平均成功率仅8.80%、平均分13.07,远低于人类专家的76.03%和80.42分。这说明现有策略距离稳定完成任务,还有巨大的鸿沟。

图| RoboDojo 仿真基准排行榜。

不同模型能力发展不均衡:

Spatial Forcing更擅长泛化,X-VLA在精细操作上领先,π0.5在开放任务上相对更强,Hy-Embodied-0.5-VLA则在长程执行、记忆和总体表现上最好。但这些优势多局限于单一维度,难以覆盖完整任务集。即使在表现较好的泛化和长程维度,最佳成功率也不足15%,精细控制、记忆和开放指令理解仍是短板。

泛化方面,场景随机化会显著削弱策略表现:

Hy-Embodied-0.5-VLA在标准场景下领先,但随机化后下降92.9%;Spatial Forcing在随机场景下相对更稳,但绝对表现仍很低。当前策略对视觉和空间分布变化高度敏感,可靠泛化仍需更稳定的控制、闭环校正和失败恢复能力。

图|标准与随机化视觉设置下的策略性能。

长程执行方面:

动作先验、具身预训练和空间grounding带来的提升仍然有限。Hy-Embodied-0.5-VLA、π0.5和Spatial Forcing成功率接近15%,说明

模型能推进部分多步任务

;但最佳成功率仍不足15%,且分数高于成功率,模型常能推进前期步骤,但难以稳定完成最终目标。

技能组合

阶段决策

错误恢复能力

仍不足。

精细控制方面:

X-VLA表现最好,成功率12.00%、分数18.32,但仍远未达到

可靠水平

。Hy-Embodied-0.5-VLA虽总体最佳,却在该维度落后于X-VLA和Spatial Forcing,说明

整体表现不能直接转化为局部精细控制

;三维定位、平滑动作预测和闭环接触控制仍是短板。

记忆方面:

当前策略仍难以有效利用历史信息完成后续操作。Hy-Embodied-0.5-VLA表现最好,具身预训练和动作先验有助于利用历史信息;但EventVLA的显式记忆设计和X-WAM的隐式时间记忆都未能带来稳定成功,表明

记忆能力

仍难以转化为

可靠控制

开放语义操作方面:

当前策略仍难以应对开放指令和新目标。即使表现最好的π0.5,成功率也仅1.67%、分数1.98。强视觉-语言骨干虽能提升感知和语言理解,但尚不能稳定对齐开放指令、视觉affordance与可执行动作,

语义目标

机器人行为

的转化仍是关键短板。

2.真实世界结果

真实世界部署方面,当前通用机器人操作策略仍不可靠

。最佳策略π0.5在18个真实任务上的成功率仅12.8%、分数22.9,远低于人类遥操作的满分表现。分数普遍高于成功率,说明模型常能完成部分步骤,却难以完成完整任务。

图| RoboDojo 真实世界基准排行榜。

仿真性能与真实可部署性并不完全一致

。π0.5在仿真和真实评估中均表现较强,但真实排名并不完全遵循仿真结果:InternVLA-A1、GalaxeaVLA在真实测试中优于预期,部分仿真领先模型在真实机器人上优势缩小。仿真更适合能力诊断,真实评估则用于检验策略对感知噪声、校准误差、执行延迟和接触不稳定等物理因素的适应性。

真实世界评估暴露了成功率之外的执行与安全风险

。真实部署中会出现动作抖动、无效重复、接触不稳定甚至安全关键行为,DM0等模型还需要人工监控或干预。这说明真实评估不能只看任务是否完成,还要检验策略在物理机器人上的控制稳定性和失败恢复能力。

3.评估效率与稳定性

RoboDojo具备较好的评估效率和稳定性。

异构并行仿真提升了大规模测试吞吐量;真实世界评估中,π0.5完成180次试验仅耗时202分钟,平均每个任务10次试验约11.2分钟,这体现了标准化重置、统一接口和本地部署带来的效率提升。

图|每个任务的真实世界评估时间。

重复评估结果

显示,仿真与真实世界的最大成功率标准差分别仅1.1和1.3个百分点,榜单结果较稳定、可复现。

图|多次重复运行中各任务真实世界评估的完整稳定性。

不足和未来发展

研究团队指出,尽管RoboDojo已覆盖

仿真与真实世界评估

,但当前机器人操作策略在泛化、长程执行、精细操作、记忆和开放任务理解上仍有

明显短板

;真实世界结果也表明,现有模型在复杂物理部署中仍

不够稳定

研究团队表示,他们将在未来持续更新RoboDojo的策略、任务和评估结果,并扩展到更广泛的

场景

机器人本体

感知模态

,包括灵巧手操作、类人全身操作、触觉操作和移动操作等方向。

图|RoboDojo 的未来扩展。

同时,他们也将为RoboDojo在不同方向引入多个机器人本体,提升基准的可访问性,增强跨硬件平台比较的公平性,最终发展为面向具身操作的通用评估平台。

更多技术细节,详见原论文。

热门手游

手机号码测吉凶
本站所有软件,都由网友上传,如有侵犯你的版权,请发邮件haolingcc@hotmail.com 联系删除。 版权所有 Copyright@2012-2013 haoling.cc