智能AI
evening
不靠堆砌数据,让机器人看懂真实物理世界 | 招商局狮子山实验室发布「驭物™ Lion-ER-35B-A3B」具身推理模型
2026-11-04
1 阅读
约10分钟阅读
思邈
字号:
允中 发自 凹非寺 量子位 | 公众号QbitAI 日常生活里人类的直觉判断,放到机器人身上,往往会变成棘手难题。 视频画面中物体位置看上去更高,并不等同于它在真实三维空间里处于更高位置;更换拍摄角度,家具外观发生改变,但它仍是同一个物体;画面内物体发生位移,有可能是物体本身发生移动,也可能仅仅是相机镜头产生转动…… 这些细微的空间、状态变化,人类一眼就能分辨,但对机器人的“具身大脑”来说,却是难以攻克的难题。 视角变化混淆物体身份、误判相机运动、错估任务进度,都会直接造成机器人执行失败。 想要机器人可靠完成现实任务,模型不能仅仅做到“看见物体”,更要 读懂三维空间关系 、 捕捉物体状态变化 、 研判任务所处阶段 。 近日,招商局先进技术研究院下属狮子山人工智能实验室发布具身推理视觉语言模型 「驭物™ Lion-ER-35B-A3B」 。该模型采用MoE混合专家模型架构, 总参数约35B,每个Token仅激活约3B参数。 在不显著增加推理开销的前提下, 模型在十项主流具身相关基准上实现全部指标上涨,多项核心能力超越更大参数量的主流模型,走出了一条区别于大规模堆砌训练数据的技术路线,有助于机器人真正理解三维物理世界。 这套模型是怎么炼成的? 过去几年,Open X-Embodiment、DROID等工作不断拓展真实世界机器人数据的边界。但随着数据规模扩大,一个问题也越来越清楚: 更多数据,并不等于更多能力 。 已有研究表明,在既有机器人数据集内, 仅调整不同数据域的训练权重,就能明显影响下游任务表现。 「驭物™ Lion-ER-35B-A3B」的核心亮点,并非单纯提升模型参数量,而是搭建了一套能力牵引的具身数据引擎,摒弃盲目收集海量数据的传统做法,转而 围绕模型需要掌握的能力做正向设计,再依靠评测发现短板,闭环迭代优化数据 。 能力牵引的具身数据引擎 第1步:明确模型该学会什么 招商局狮子山团队梳理出了一张细粒度的“能力蓝图”: 他们将具身推理拆解为“ 实体、空间、时序、物理、可供性、任务、社会、证据” 等8个一级领域,细化出39项二级能力。并把 推理方式、输入形式 和 回答形式 作为独立维度分开标注,避免不同分类维度混用造成的重叠。 蓝图不仅定义了模型需要学习哪些能力,还明确了这些能力应在何种条件下被调用。 真实任务往往涉及复合能力,例如判断物品是否放置到位,既需要任务进度判断,也需要空间关系推理。 因此,团队在蓝图阶段就分别记录主能力与辅助能力,把不可拆分的联合任务单独列出。 在训练采样时,团队还会考虑不同因素的组合与留出,避免某类能力始终绑定在少数固定场景、物体或提问方式上。 第2步:把抽象要求变成一道道训练题目 有了能力蓝图,该如何落地生成训练题目? 团队将这套流程命名为 “能力编译” : 把抽象的能力目标,逐项拆解、落地为“需要什么场景、怎样组织观察、提出什么问题、依据什么确定答案”。 以跨视角推理为例。首先明确提供给模型的视角数量、需要在多张画面之间建立关联的目标物体,以及判定方位时所采用的观测者位置与朝向。 同时还要核验素材本身:模型拿到的视觉信息,是否足以支撑模型推导出可靠答案。如果关键视角缺失、证据不足,这道题就只能依靠猜测,不能纳入合格训练样本。 这类构题规范,由目标能力本身驱动,不需要等到评测暴露错题之后,再被动补充数据。 能力蓝图预先规划好需要覆盖的能力范围,评测则承担查漏补缺的角色,后续定位模型依旧薄弱的环节。 第3步:保证每道训练题目有据可依 构题方式层面,团队设计了三条可互相组合的路径,从已有QA与视觉标注中转换、从观察素材中发现证据、从结构化条件与关系中推导。这三条路径共同把抽象的能力要求,转化为一道道具体、可作答的训练题。 三种构题方式示意图 监督核验层面,采用数据提纯、几何构题、定向合成三条互补路线: 数据提纯: 对已有数据进行清洗与修订,排查图像顺序、问题指代、选项与答案映射,修复有据可查的错误,并控制重复曝光。 几何构题: 针对具备可靠位姿、深度和物体对应关系的素材,先算出固定答案和推理所需的中间关系,再让模型在这些事实约束下生成问题与解释。 定向合成: 当现有监督不足时,基于真实图像或视频素材定向构造问答。合成的是问题与标注,但生成模型给出的答案绝不直接当作真值,必须经过独立作答或额外审核。 三条监督路线 整套流程始终坚持一项原则:保留有证据的难题,排除缺证据的伪难题。 模型答错,不是删掉样本的理由,多个模型给出相同答案,也不能单独证明答案正确。 对于模型持续失误的高难样本,团队进一步引入Human in the loop人工复核,搭建面向复杂具身任务的可视化核验平台,通过多视角对照、时序回放与证据标记等能力强化人工审查,帮助审核人员还原关键视觉线索与推理依据,避免将模型能力边界误判为数据问题。 第4步:评测结果直接反哺数据迭代 有了合格的训练题目,还要做好训练资源分配。 「驭物™ Lion-ER-35B-A3B」的监督训练集共包含 312380条样本 ,训练时按能力需求分配训练预算,而不是由数据源的题量决定权重。 样本重点覆盖空间几何、多视角对应、动作轨迹、任务规划等核心具身能力。团队会减少同质化重复题目,将训练资源投向薄弱的推理类型。样本从候选、审核到入训全程留痕,训练配方可追溯、可调整。 31.2万监督样本的能力构成图 正向设计建立了能力覆盖,但模型究竟学会了没有、哪里还有盲区? 这一步交给Eval-Driven Data Harness。 这是一套数据迭代机制,从模型错题中找出需要补强的能力,再将其转化为下一轮可执行的数据需求。 在Harness里,评测不再是训练结束后的成绩单,而是下一轮数据生产的起点。 发现错题后,先核查标注、画面证据、评分是否存在问题,再区分偶发失误与系统性能力短板。确认存在能力缺口后,再从 覆盖31个数据源、约430万条记录 的素材池中,检索推理逻辑相同、场景不同的新素材,经构题核验后加入训练,再通过新一轮评测验证效果。 一次评测失败,如何变成一批新的训练数据 例如模型容易将画面二维上下位置等同于三维高度,团队就优先选择具有上下多层可放置支撑面的场景,让模型需要结合空间结构判断高低。再给左右、前后关系增加遮挡和透视变化,覆盖更容易混淆的情况。 团队还会结合分割、深度和几何约束,核验放置区域是否合理。 “画面里更靠上”≠“空间里更高”,失败模式直接改写下一轮的数据条件 简而言之, 能力蓝图提供覆盖方向,Eval-Driven Data Harness持续校准盲区。 数据不再是一次性的静态供给,而是随模型能力持续演化。 仅激活约3B参数,十项基准全部提升 在这套能力牵引的数据引擎加持下,「驭物™ Lion-ER-35B-A3B」以仅约3B的推理激活参数,在十项公开基准上实现全部指标正向提升,部分指标超过参数量更大的模型。 评测采用avg@4评测口径,即每道题让模型独立作答4次,取平均分 。 在评测覆盖的十项公开基准上, 「驭物™ Lion-ER-35B-A3B」的等权综合均分达到65.29。 十项基准逐项对比柱状图,蓝色为「驭物™ Lion‑ER‑35B‑A3B」 从单项成绩看: Where2Place空间放置评测得分为
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱