刚刚，首个空间原生的具身视觉基模开源！机器人更会看我们的世界了

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 刚刚，首个空间原生的具身视觉基模开源！机器人更会看我们的世界了 十三 2026-07-07 12:48:40 来源： 量子位 来自蚂蚁灵波 金磊 发自 凹非寺 量子位 | 公众号 QbitAI 这一次， 机器人 更能 看懂 我们的 真实世界 了。 能看懂到什么程度？ 我们直接来看一个效果： 视频地址： https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ 视频中最左侧的是我们真实世界的画面效果；中间的视频是未经算法美化的原始深度图，很明显，杯子的轮廓是破碎，部分杯壁和背景是混在一起的，香槟塔也像是被挖掉了不少空洞，几乎看不出形状轮廓…… 但现在机器人看世界就不一样了，从最右侧的视频中我们能看到，杯子的边界、层级和整体结构更完整，顶部杯子、酒瓶、杯塔之间的空间关系变得更加清楚，甚至连很细的透明水柱都清晰可见。 或许有小伙伴要问了，看得差不多不就行了？ 非也，非也。 这类差异放到机器人身上，如果它要去抓一个杯子，边界看不准，就可能抓偏；如果它要在家庭、商场、工厂里持续移动，深度结果一直破碎，后面的规划和控制都会跟着抖。 而这，便是蚂蚁灵波刚刚发布 LingBot-Vision 和 LingBot-Depth2.0 的核心原因： LingBot-Vision：是面向机器人真实任务的空间原生视觉基模，负责给机器人打一个更懂物理世界的视觉底座； LingBot-Depth 2.0 则是基于LingBot-Vision做出的空间感知模型，把这个视觉底座进一步转化为更稳定的深度结果。 研究一出，也是引发了不少网友的关注，他们纷纷直呼： 玻璃、透明物体才是机器人视觉的噩梦；这是重要的里程碑。 一言蔽之，对于具身视觉来说，看得见还只是第一步；看得准，才有机会真正行动起来。 机器人看世界，最怕“差一点” 虽然具身智能这几年确实很火，但真把它们丢进真实场景的时候，我们往往会发现很多问题会迅速回到最基础的一层： 视觉感知稳不稳。 第一类老大难的问题，就是 透明和反光材质。 刚才的香槟塔就是典型例子，透明杯壁在RGB画面里能看到，但深度传感器和深度模型常常会在这里不稳定：有的地方补不上、有的边缘粘在一起、有的区域直接空掉。 LingBot-Depth 2.0的输出更像是在帮机器人补上一层稳定的空间骨架，是尽量在把杯口、杯壁、杯身之间的几何关系保持住。 这对于机器人的抓取任务来说，可以说是非常关键的。 因为机械臂要抓杯子，并不只需要知道“这是杯子”。它还要知道杯子的边界、开口方向、可接近位置，以及手爪靠近时会不会碰到旁边那一层杯子。 就像昨天蚂蚁灵波提前放出的预告片里，机器人首先看到带有透明水柱的清晰深度图，知道水在哪里，才能准确将水壶推到水柱下，继而接满一壶水。 视频地址： https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ 第二类难点，是 小目标和远距离目标 。 在下面这个例子里，原始视频是一只狗狗在户外追逐一个网球，远处的狗狗已经算是不大的目标了，网球在整个画面里更是显小： 视频地址： https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ 从效果上来看，中间的raw depth基本是糊得一塌糊涂，完全分不清任何主体，跟别提小如网球的目标了。 反观LingBot-Depth 2.0这边的结果，地面、远处墙体、网球、树木和狗的位置关系更清楚。 这个能力放到移动机器人、巡检机器人、人形机器人身上，价值会更直接。 移动机器人往前走时，不能等到障碍物贴脸了才反应。它需要提前看到远处的人、宠物、路障、货架边缘，然后把这些信息交给导航和规划系统。 如果远距离深度一直不稳定，机器人就很容易一会儿误以为前方没东西，一会儿又突然发现障碍物，动作自然也会变得迟疑甚至危险。 第三类难点，是 室内复杂场景 。 比如家里的玻璃门、窗帘、电视柜、阳台杂物，光照还会随着镜头移动不断变化。以往视觉模型的结果经常会在玻璃、强光、阴影、边缘交界处出现大片破碎和空洞： 视频地址： https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ 而LingBot-Depth 2.0的结果则是更连续，墙面、玻璃门、窗帘、地面和近处物体之间的空间层次保留得更完整。 这类任务对于家庭服务机器人来说是比较重要的，毕竟家庭环境中的东西往往摆放很随意，机器人如果要在这种环境里送水、拿东西、避让人和家具，就需要一个足够稳定的空间输入。 第四类难点，是 弱光、遮挡和杂乱 。 在下面这个室内走廊和房间视频里，门框、墙角、窗帘、桌面、电视等结构交错出现。传统视觉模型的效果，边缘位置容易冒出噪点和缺口；而LingBot-Depth 2.0结果则更稳定，墙面、门框、桌面边缘更连续。 视频地址： https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ 这些案例合在一起，其实指向的是同一个问题，即机器人看世界，不能只靠语义理解。 它需要的视觉能力更接近一种空间常识，比如哪里是边界、哪里是空的、哪里能走，哪个物体还离我很远等等。 这也是LingBot-Depth 2.0要体现的几个重点： 边缘更清晰、物体轮廓更完整、细小目标更稳定、远距离目标更可靠，在复杂材质和复杂光照下，深度图破碎和缺失更少。 视频地址： https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ 但更关键的问题来了，为什么这些提升会发生？ 答案要回到LingBot-Vision。 空间原生视觉，为什么要从“边界”学起？ 传统视觉基础模型的发展，过去很长时间都在围绕让模型更好地理解图像内容这个目标。 但也正如我们刚才提到的，机器人眼里的世界是不太一样的。 一只猫不只是“猫”这个类别，机器人还要知道猫离自己多远，身体边界在哪里，会不会突然移动，桌子边缘和猫之间有没有安全距离。 所以，具身智能需要的视觉底座，必须更重视几何结构。 而几何结构里，一个很重要的入口，就是边界。 边界不只是物体轮廓，它往往同时意味着深度突变、遮挡关系、空间分割和可交互区域。比如杯口的边缘、门框的边线、桌面的轮廓、行人和背景之间的分界，都会影响机器人后续的移动、避障和抓取。 LingBot-Vision的核心思路，就是把边界和空间结构放到预训练目标里。 为此，团队专门提出了 masked boundary modeling ，可以理解成一种让模型专门学习难点的自监督训练方式。 普通的Mask modeling更像是随机遮住图像中的一块，让模型猜回来。问题在于，随机遮住的地方可能只是墙面、天空、地板这类信息密度不高的区域。模型猜对了，也未必真正学到了空间结构。 LingBot-Vision的做法更有针对性。 它会让教师模型在线发现图像里的边界token，再把这些