热门搜索:和平精英 原神 街篮2 

您的位置:首页 > > 教程攻略 > ai资讯 >具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

来源:互联网 更新时间:2026-07-06 13:19

机器人也能学Skill了。

英伟达最新放出的这套系统,叫

ASPIRE

,全称是

Agentic Skill Programming through Iterative Robot Exploration

。说白了,它是一个能让机器人持续积累经验的技能库。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

听起来很抽象?其实可以把它理解成一个机器人版的Coding Agent。就像GPT能把你的工作记录提炼成可复用的skill一样,ASPIRE也会把机器人在执行任务时的失败和修复,沉淀成以后能直接调用的经验。区别只在于,它review的不是代码行,而是机器人的

操作全过程

每次机器人执行任务,ASPIRE都会把感知、导航、抓取、碰撞、运动规划这些环节全部记录下来。背后调用的GPT或Claude,则会像一个研究员那样去分析:问题出在哪儿?然后迭代程序。如果新程序跑通了,这次沉淀下来的经验就会被写进技能库。

这样一来,机器人就能通过写代码、看执行轨迹、修程序、沉淀技能,持续地自我进化。

英伟达机器人主管Jim Fan甚至认为,这代表了一种全新的

持续学习范式

。直观来看:

  • 训练,从梯度下降变成了不断打磨技能(Skill Refinement);
  • 训练好的模型,对应的不再只是一堆浮点权重,而是一个持续扩展的机器人技能库(Sensorimotor Skills);
  • 分布式训练,则变成了一群Agent各自练习不同技能,再把经验汇总进同一个技能库。

训练出来的,不一定是权重

这里有必要先聊点背景。

ASPIRE让机器人用代码执行任务,失败后就查看多模态执行轨迹,再修改程序,最后把修好的经验存进一个不断变厚的技能库(Skills Library)。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

这个所谓的Skill,本质上是喂给大模型的一段上下文,但它沉淀的是一套经过验证的代码修复经验(Code Repair Pattern)。它告诉机器人:以后遇到某类问题,你该这样修改控制程序。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

举个例子。机器人准备拿起一台收音机,目标识别没出问题,但就是无法靠近。Agent分析后发现,原因不是识别错了,而是规划器给出的目标点都落在了障碍物的碰撞缓冲区内。于是,ASPIRE就在这次经验的基础上,总结出一条新Skill:

如果遇到这种规划失败,就尝试从45°、90°、180°等不同角度重新接近目标,直到找到一条无碰撞路径。

以后再有类似场景,不管目标是收音机、微波炉还是别的家具,这条经验都能直接拿来用,不需要重新试错。

说到这儿,你可能会觉得奇怪:机器人训练,不都是搞数据、梯度下降、模型权重、真机采集、仿真到现实迁移那一套吗?怎么突然变成攒skill了?

这就必须提一个近期很火的范式——

Code as Policy

。跟端到端的VLA策略模型不同,Code as Policy不让模型直接输出机器人动作,而是让大模型写一段可执行的机器人控制程序。程序里可以调用感知模块、规划API和控制原语,比如识别物体、规划路径、移动机械臂、执行抓取。这样一来,机器人行为就不再完全藏在神经网络权重里,而是变成了可执行的操作代码。有了代码,后面的事情就好办了——现在强得离谱的Agent模型可以检查它、修改它、调试它,继续优化。

但过去的Code as Policy有两个硬伤。第一,机器人失败了,系统通常只知道“任务没完成”,却不知道到底是感知错了、抓取没抓稳、路径规划撞了,还是恢复动作出了问题。第二,也是更关键的,

它不长记性

。一个任务做完,调试过程中发现的修复方案、恢复策略、prompt写法全被丢掉了,下次遇到类似问题,一切都要重头再来。

所以Jim Fan才会说:

(有了ASPIRE)当机器人完成第100个任务时,它终于不再像完成第1个任务时那样一无所知。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

整个过程,跟人类机器人工程师的做法如出一辙:程序失败后,回放执行过程,看感知结果,分析运动轨迹,判断到底是哪个环节出了问题。修好之后,把经验记下来。下次再遇到桌边物体、抽屉把手、窄空间导航,就不会再从零开始。ASPIRE做的,就是把这套经验积累机制交给Agent。它不只是让大模型写机器人代码,更让大模型在执行环境里

反复试、反复看、反复修

,最后把验证过的修复经验沉淀成Skill。

所以,在ASPIRE里,训练已经不只是梯度下降。训练过程变成了Skill Refinement;训练产物,也不只是模型权重,而是一个机器人不断积累、不断成长的Skills Library。

三阶段pipeline

这套思想在论文中被实现为三阶段的pipeline。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

首先是

机器人执行引擎

。传统机器人程序失败后,系统只告诉你任务没完成。ASPIRE会把失败拆开——每一次感知、规划、抓取、控制调用,都留下输入、输出、视觉证据和错误日志。就像人类工程师调机器人时会回放视频、看轨迹、查原因,ASPIRE把这套动作交给了coding agent。

接下来是

技能库

。Agent修好程序后,会把这次经验炼成可复用的知识,而不是丢掉。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

官网技能库里能看到很具体的条目:比如SAM3文本提示怎么写、桌边物体要多角度接近、抽屉把手怎么过滤假检测、平面物体推动时该用哪种motion primitive。这些不像传统模型权重,它们更像是机器人程序员的踩坑笔记。

最后是

进化搜索

。一个Agent不只沿着单条修复路径往下试,系统会生成多条候选控制程序,让它们进执行环境里跑,再根据幸存程序和失败轨迹继续迭代。软件工程里,coding agent已经习惯了写代码、跑测试、看trace、改bug。ASPIRE做的事,就是把这套循环搬进物理世界。

实验验证

论文在三个经典机器人基准上做了测试:

LIBERO-Pro

Robosuite

BEHA VIOR-1K

,分别覆盖泛化操作、接触密集型操作以及长时家庭任务。整体结果都比此前的Code as Policy方法明显更好。

例如,在Robosuite的双臂物体交接(Bimanual Handover)任务中,ASPIRE将成功率从

20%提升到了92%

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

在泛化能力方面,研究先在LIBERO-90上不断积累Skill Library,再直接迁移到从未见过的LIBERO-Pro Long长任务,中间没有针对新任务继续训练,也没有更新技能库。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

结果很直观:随着技能库越来越丰富,机器人在新任务上的成功率也一路提升,从几乎不会做,到最终达到31%。换句话说,Skill Library越厚,机器人越不像一个新手。

作者介绍

在技术博客的最后,英伟达也公布了完整的作者名单。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

依旧是GEAR团队的老面孔:Jim Fan、朱玉可、Guanzhi Wang、石冠亚等人。排在最前面的三位作者为共同贡献。其中,Runyu Lu目前是密歇根大学博士二年级学生,正在GEAR实习;Yuubo Wu来自伊利诺伊大学厄巴纳-香槟分校(UIUC),Ethan Kou则来自加州大学伯克利分校,目前还是一名本科生。

值得一提的是,就在昨天,英伟达也宣布扩大国内机器人团队招聘,在北京、上海、深圳三地开放了不少岗位,覆盖具身智能、仿真、机器人部署和解决方案架构等方向。

具身智能Skill时刻!英伟达开源机器人技能库,Jim Fan:范式变了

感兴趣的同学们,准备简历吧!

热门手游

相关攻略

手机号码测吉凶
本站所有软件,都由网友上传,如有侵犯你的版权,请发邮件haolingcc@hotmail.com 联系删除。 版权所有 Copyright@2012-2013 haoling.cc