智能AI
morning
1.5B开源通用VLA模型,冲进具身智能第一梯队
2026-07-20
1 阅读
约9分钟阅读
十三
字号:
< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 1.5B开源通用VLA模型,冲进具身智能第一梯队 十三 2026-07-20 11:36:20 来源: 量子位 面壁智能发布MiniCPM-Robot系列模型 金磊 发自 上海 量子位 | 公众号 QbitAI 一个新的 国产VLA 模型诞生了,而且只有 1.5B 。 Size这么小,能好用吗? 来,话不多说,我们直接看效果: 视频地址: https://mp.weixin.qq.com/s/TWDuh4NmsamJ52E2A6ZpTw 在上面这个真机演示里,两只机械臂围着桌面开始做三明治。它们分工合作,先取面包,再夹起生菜、火腿和鸡蛋,一层层叠到一起。 再来看下另一段演示: 视频地址: https://mp.weixin.qq.com/s/TWDuh4NmsamJ52E2A6ZpTw 一只宇树机器狗收到“跟随前面的人”这条指令后,开始一路跟在目标身后。 从室外走进办公楼,再进入电梯、地下停车场,机器狗始终没有跟丢。就算周围不断有人经过,环境和光线也在变化,它还是能认准一开始指定的那个人。 更关键的是,这套能力直接跑在 机器狗本地! 电梯和地下停车场往往是网络信号比较差的地方。即使进入弱网甚至无网环境,机器狗依然能继续识别目标、规划动作,保持跟随。 而在这两段Demo背后,则是 面壁智能 在WAIC期间正式发布并开源的 MiniCPM-Robot系列 模型。 目前包含两个模型: MiniCPM-RobotManip:也就是开头控制机械臂做三明治的通用VLA模型,参数量只有1.5B。 MiniCPM-RobotTrack:主要负责机器人的跟踪与导航,让机器人能够根据自然语言指令,在动态环境里持续跟住指定目标。 和它们一起出现的,还有开源具身智能推理框架 PhyAI ,负责让这些模型更快地适配硬件、跑到真实机器人上。 简单来说,一个负责让机器人“动手干活”,一个负责让机器人“认准人、跟着走”,再配上一套负责高效推理的底座。 面壁这次端出来的,已经是一套逐渐成形的具身智能组合。 跻身第一梯队,延迟接近一半 先来看 MiniCPM-RobotManip 。 虽然参数量只有1.5B,但在LIBERO、Calvin、RoboTwin2等主流VLA评测里,它的整体表现已经进入第一梯队,与π0.5等模型处在相近水平。 真正把差距拉开的,是对机器人记忆力的考验。 很多VLA模型在执行动作时,主要根据当前这一帧画面做判断。 比如让机器人点击画面里的第二个按钮5次。 如果它看不到前面的画面,也记不住自己已经按过几次,就很容易按一下便停,或者一直按下去。 MiniCPM-RobotManip会把历史观测和此前执行过的动作一起纳入判断。它知道任务已经进行到哪一步,也知道什么时候应该停下来。 在专门考察上下文记忆的 RMBench 中,π0.5的成绩约为10分,接近随机水平,MiniCPM-RobotManip则达到约53分。 这项能力对真实机器人很重要。 叠衣服、收拾桌面、做三明治,看起来都是日常小事,拆开后却包含一连串动作。机器人只看眼前,很容易做到一半便“失忆”;能记住此前的状态,才有机会把长任务完整做完。 除了记得住,机器人还得反应快。 面壁给出的单帧推理对比中,在H100显卡、bf16精度下,MiniCPM-RobotManip单次决策延迟约为120毫秒,π0.5约为234毫秒,前者接近后者的一半。 这里的“成本减半”,主要是体现在推理延迟和计算量上。 聊天模型多想一秒,用户通常还能等。机械臂每做一步都停顿一秒,动作马上就会变得僵硬,整个任务的完成时间也会被拉长。 对VLA来说,能不能在有限算力下快速输出下一步动作,和榜单分数一样重要。 MiniCPM-RobotTrack 也走了类似的小尺寸模型路线。 它以MiniCPM4-0.5B为基础,整体参数规模为0.9B,主要测试三种真实场景。 第一种是单目标跟踪。给它一句明确指令,机器狗持续跟着指定的人。 第二种是多人干扰。周围几个人同时移动、交叉甚至交换位置,模型依然要认准最初的目标。 第三种更难,指令本身可能比较模糊。比如只说“跟着穿黑衣服的人”,现场又恰好有多个穿着相近的人,模型需要结合画面理解人类到底指的是谁。 在没有进行下游强化学习优化的情况下,MiniCPM-RobotTrack在三类任务上的追踪率分别达到89.8%、73.4%和80.4%,均取得开源方案中的最优结果。 相比OpenTrackVLA,三项追踪率分别提高7.0、14.6和6.5个百分点。 在相同的单视角、纯SFT设定下,与闭源模型TrackVLA++相比,它在单目标跟踪和模糊目标跟踪上的追踪率分别高出8.8和17.0个百分点,模糊目标跟踪的成功率达到58.0%。 参数小,表现却没有明显掉队。 机器人模型的竞争,也开始从单纯拼规模,转向拼单位算力到底能换来多少能力。 把机器人看到的世界压缩一下 MiniCPM-RobotManip能把尺寸压到1.5B,背后离不开面壁过去在多模态模型上的积累。 它基于MiniCPM-V 4.6训练而来(开源不到2个月,下载量已突破200万)。 面壁的MiniCPM-V/O系列已经持续迭代两年多,开源总下载量超过2500万。过去积累的图像理解、视频理解和多模态信息处理能力,如今被进一步搬到了机器人身上。 机器人执行一次动作,需要处理的信息其实很多。 一台双臂机器人通常会同时接收三个摄像头的画面,包括两个腕部相机和一个主视角相机,再加上一段文字指令,最后输出一个可以执行的动作。 而且,这个过程一秒要重复好几次。 如果每一张图片都被转换成大量视觉Token,机器人运行得越久,需要处理的历史信息就越多,计算量很快就会堆起来。 MiniCPM-RobotManip采用的办法,是 尽量压缩视觉Token 。 桌面纹理、墙面图案等和当前任务关系不大的信息,不必占用太多Token。模型用更短的数据表示保留关键内容,单次推理需要处理的信息量也随之下降。 信息少了,推理自然更快。对应到机械臂上,就是等待时间更短,动作衔接更顺。 视觉Token压缩还有一个更大的用处,可以帮助机器人以更低成本保留历史记忆。 常规方法每获得一张新画面,都要把此前的历史重新计算一遍。任务越长,计算量增长得越快。 MiniCPM-RobotManip采用流式计算,前面已经处理过的信息可以继续复用,新画面进来后,只需要接着往下计算。 这就有点像看连续剧的感觉了。 普通做法每更新一集,都要从第一集重新看起;流式计算则会记住之前的剧情,直接从最新一集接着看。 机器人因此可以带着更长的历史继续执行任务,同时避免计算量一路暴涨。 1.5B的尺寸,也和机器人的实际运行需求有关。 面壁在将约200毫秒视为机器人操作体验的一道临界线。再慢下去,机械臂和机器狗的卡顿感就会明显增加。 当前多数VLA基础模型都控制在4B以内。模型继续做大能带来多少真实操作收益,行业仍在验证。 到了MiniCPM
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱