10万小时真实数据预训练！小米发布机器人基座模型Xiaomi-Robotics-1

快科技7月16日消息，今日，

在预训练阶段，研发团队使用了10万小时真实世界操作轨迹。

这些数据通过通用操作接口设备Universal Manipulation Interface（UMI）采集，覆盖家庭、商业空间、工业场景、办公室及户外等多种环境，包含大量物体交互和操作行为。

为处理如此庞大的数据，团队构建了一套可规模化的自动标注流程：

通过这套流程，模型可以学习在当前视觉观察和语言条件下，生成能够推动场景状态变化的动作序列。

据介绍，该自动标注流程可在约两周内，完成全部10万小时数据的高质量标注，大幅提升机器人训练数据的处理效率。

在预训练阶段，模型主要学习通用动作生成能力，给定当前视觉观察和状态变化描述后，模型需要预测一段动作序列，让场景从当前状态向目标状态转变。

后训练阶段则主要解决本体对齐和指令对齐两大问题。

其中，本体对齐是将模型从UMI数据中学习到的动作生成能力，迁移至真实机器人本体。

指令对齐则是将根据状态变化描述生成动作”的能力，转化为根据人类自然语言指令执行任务”的能力。

为此，团队构建了约1万小时跨本体后训练数据，其中包括超过7200小时移动操作机器人和双臂机器人数据、超过1000小时人工标注UMI数据，以及Bridge V2、RT-1、DROID等公开机器人数据集。

完成后训练后，

性能方面，Xiaomi-Robotics-1在多项机器人基准测试中取得领先成绩。

在RoboCasa365基准中，该模型平均成功率达到57.4%，高于此前最优方法的46.6%；尤其在Composite-Unseen任务划分中，展现出较强的任务组合泛化能力。

在RoboDojo仿真评测中，Xiaomi-Robotics-1以20.07分的平均成绩和13.93%的平均成功率登顶排行榜，大幅超过此前行业最优方法的13.07分和8.80%成功率。

在VLABench基准中，该模型同样取得当前最优表现，平均成功率达到59.1%，平均进度得分达到70.3%。

此外，在RoboCasa基准中，Xiaomi-Robotics-1平均成功率达到74.5%，超过RLDX-1、Cosmos Policy、GR00T N1.6、Pi-0.5及Pi-0-FAST等模型。