MiniCPM-Robot - 面壁智能开源的具身智能 VLA 模型系列

MiniCPM-Robot是什么

面壁智能最近开源了一个很有意思的模型系列，叫MiniCPM-Robot。它属于轻量级的具身智能VLA模型，专门为机器人场景设计。这个系列包含两个核心模型：一个是1.5B参数的MiniCPM-RobotManip，用于通用操作；另一个是0.9B参数的MiniCPM-RobotTrack，负责跟踪导航。配套的还有一套PhyAI推理框架，让整个系统跑得更顺。

模型用了视觉Token压缩和流式上下文记忆两项技术，效果相当不错：机械臂能完成长程精细操作，机器狗可以在室内外进行目标跟踪。更关键的是，它能在弱网环境下实现端侧本地运行，推理延迟低至120ms，在主流评测中已经跻身第一梯队。

MiniCPM-Robot的主要功能

• MiniCPM-RobotManip
  ：主要负责控制机械臂完成长程操作任务，比如做三明治这类需要多个步骤的精细活儿。它支持多摄像头输入，还具备上下文记忆能力，能记住当前任务进度和历史动作，不会做着做着就忘了该干什么。

• MiniCPM-RobotTrack
  ：让机器狗根据自然语言指令持续跟踪指定目标。无论是单目标跟踪、多人干扰跟踪，还是模糊目标跟踪，它都能应对。而且，在弱网甚至无网环境下，它也能本地运行，不依赖外部连接。

MiniCPM-Robot的技术原理

怎么做到的？关键在于三个核心技术：

• 视觉 Token 压缩
  ：简单说，就是过滤掉和任务无关的冗余视觉信息，减少单次推理的计算量。这样一来，模型不用在每帧画面上都浪费算力。

• 流式上下文记忆
  ：传统方法处理长任务时，计算量会随着画面数量暴增。但MiniCPM-Robot可以复用已经处理过的历史信息，新画面只需要做增量计算，大幅降低了计算负担。

• 自进化数据管线
  ：模型会在仿真和真实环境中主动暴露自己的薄弱环节，收集那些容易出错的场景，然后由专家进行纠偏和闭环训练。这相当于让模型自己发现短板、自己补课。

如何使用MiniCPM-Robot

上手流程倒不复杂，大致分几步：

• 环境准备
  ：先克隆GitHub仓库，安装好依赖。硬件方面，RobotManip需要机械臂，RobotTrack则需要宇树Go2 Edu机器狗。

• 模型加载
  ：从Hugging Face把对应模型权重下载下来，通过PhyAI框架加载，完成后会自动完成量化与算子优化。

• 摄像头接入
  ：RobotManip需要配置腕部相机和主视角相机，RobotTrack直接用机器狗原装摄像头就行。

• 指令输入
  ：输入自然语言指令，比如“跟着前面穿黑衣服的人”或者“做三明治”，模型就能理解。

• 一键启动
  ：运行开源脚本，模型接收视觉和语言输入，输出机器人动作指令并执行。整个过程一气呵成。

MiniCPM-Robot的核心优势

这个模型最大的亮点在于，用极小的参数规模实现了第一梯队性能。数据不会说谎：

• 极小参数，性能不输
  ：1.5B参数在LIBERO、Calvin、RoboTwin2等评测中，表现和π0.5这类更大模型不相上下。在RMBench上下文记忆评测中，得分约53分，远超π0.5的约10分。

• 推理延迟减半
  ：在H100上，单帧决策延迟约120ms，几乎是π0.5（234ms）的一半。这对机器人控制来说，意义重大。

• 纯端侧运行
  ：机器狗本地算力就能稳定保持5Hz以上的跟踪频率，断网后依然能持续工作。这对工业场景来说，是个非常实用的特性。

MiniCPM-Robot的项目地址

• 项目官网
  ：https://github.com/OpenBMB/MiniCPM-Robot

• HuggingFace模型库
  ：
  • https://huggingface.co/openbmb/MiniCPM-RobotManip
  • https://huggingface.co/openbmb/MiniCPM-RobotTrack

MiniCPM-Robot的同类竞品对比

拿它和同类模型π0.5对比一下，差距就一目了然了：

从数据来看，MiniCPM-RobotManip在参数更少、延迟更低的前提下，性能反而更强，尤其是在上下文记忆这个关键维度上，优势非常明显。

MiniCPM-Robot的应用场景

这个模型的应用场景非常广泛，理论上可以覆盖大多数需要机器人长程操作的场景：

• 餐饮备餐
  ：双臂机械臂按指令完成取面包、夹生菜火腿鸡蛋等长程三明治制作任务。自动化程度高，效率也高。

• 展厅导览
  ：机器人在无网环境下，基于本地知识库完成离线讲解、自由问答与路线规划。不需要联网，就能提供智能服务。

• 园区巡检
  ：机器狗识别车辆违停、路面异常与公共设施问题，敏感画面本地处理不上云，确保数据安全。

• 仓储物流
  ：机器人执行货架取放、物料搬运等长程操作，失败时还能自动重试与恢复，降低了人工干预成本。

• 室内外跟随
  ：机器狗根据自然语言指令，在电梯、地下停车场等弱网环境中持续跟踪目标人物。对安保和物流场景来说，非常实用。