Meta全开源HumanCLAW：基础模型正进入具身智能的决策层

过去，基础模型主要负责理解和描述物理世界。现在，这条边界正在移动：模型开始进入机器人控制栈，参与决定一具身体下一步做什么。 近期，Google DeepMind 在全身控制模型之上加入具身推理层，Anthropic 则把前沿模型接入不同层级的机器人控制接口。两条路线的实现不同，却呈现出相似的系统分工： 基础模型负责高层决策，预训练控制器负责平衡、轨迹跟踪和关节执行 。 这也带来一个尚未回答的问题。当低层控制器能够可靠执行动作，视觉 — 语言模型是否真的知道身体下一步该做什么？它不仅需要看见目标，还要根据第一视角持续判断何时探索、如何接近、在哪里停下，以及什么时候完成交互。 论文标题：HumanCLAW: Can Vision-Language Models Act Through a Body? 论文（arXiv）：https://arxiv.org/abs/2607.27180 代码（全开源）：https://github.com/Human-CLAW/HumanCLAW 来自 Meta、南洋理工大学、华盛顿大学、布朗大学和西北大学的研究者提出 HumanCLAW，将高层行动选择与低层运动控制分开，同时保留连续运动、碰撞、接触和重力。九个前沿 VLM 接受同一套测试，表现最好的模型完成完整交互的成功率只有 「16.8%」。 图 1：行动智能位于何处（论文 Figure 1） 看懂世界还不等于能够通过身体行动 HumanCLAW 把这种能力称为 「行动智能（Action Intelligence）」：模型需要根据当前观察和此前动作造成的结果，持续决定身体下一步应该做什么。它研究的是「 做什么」，而不是每个关节具体「 怎样做出来」。 图 2：上楼梯任务：每 0.5 秒一次决定 这一区分很重要。脚本化环境通常会把动作直接抽象为离散命令，因而没有真实的物理后果；真实机器人和端到端视觉 — 语言 — 动作模型（VLA）又把决策、平衡和关节控制耦合在一起。机器人失败时，我们很难判断究竟是模型选错了动作，还是控制器没有把动作执行好。 HumanCLAW 的评测原则因此很明确：「保留每次决定的物理后果，同时把低层控制误差从结果中剥离」。只有这样，基础模型本身的行动决策能力才可以被单独测量。 怎样把行动决策从运动控制中单独测出来？ HumanCLAW 把长程任务组织成 “观察 — 决策 — 动作 — 反馈” 的闭环。模型每 0.5 秒作出一次决定，动作结果随即进入下一轮观察。整个框架由三个部分组成： 图 3：HumanCLAW 闭环框架 1. 「VLM 决策」 ：一个冻结的现成 VLM 从第一视角出发，每一步只能从向前、转向、坐下等带参数的原子技能中选择一个。没有「坐到沙发上」这样的快捷指令，寻找、接近、调整朝向都要它自己拆解。 2. 「连续运动生成」 ：运动生成器将原子技能转化为连续的全身动作；新增技能只需接入轻量适配器，不必重新训练运动模型或 VLM。 图 4：技能运动生成（扩散先验 + 每技能一个轻量 ControlNet 适配器） 3. 「半物理执行」 ：身体动作可靠完成、永不摔倒，但墙会挡住去路，脚会撞到家具，物体会被碰开，模型必须面对自己刚刚造成的新局面。 从模型的角度看，这很像一个第一人称游戏：控制键不是上下左右，而是全身技能；每次选择之后，身体和环境都会真实改变。执行前另有一个只看眼前一步的验证器把关，拦下明显违规的动作。 真正的挑战始于看见目标之后 HumanCLAW-Bench 在 41 个室内场景中构建了 1,218 条长程任务。每条任务都必须依次完成三个阶段：先找到目标，再让身体靠近，最后完成真实交互。 图 5：任务难度三维标注 成功率之外，基准还记录碰撞、扰动等过程指标，不仅判断成败，也能追踪具体的失败方式。 九个前沿 VLM 在完全相同的身体、任务和指标下接受测试，决策模型全程冻结，也没有针对任务训练。表现最好的模型在三个阶段的成功率依次为 「64.9% → 42.5% → 16.8%」；九个模型中，有四个的完整交互成功率不超过 0.2%。 图 6：主结果：64.9% → 42.5% → 16.8%（FindSR：确认发现；NavSR：靠近 20 厘米内停下；InteractSR：坐下形成接触） 能力损失主要发生在把一句计划展开成几十甚至上百次连续决定之后：模型往往能够识别目标，也能给出合理计划，却在逐步执行中不断掉队。「看懂一个场景」与「通过身体持续改变场景」之间，仍然隔着一层尚未成熟的闭环决策能力。 模型看见了环境，却持续丢失自身状态 错误分析把这层断裂进一步拆开： 1. 「目标进入视野后，识别通常不是问题」 。寻找阶段更常见的失败是低效探索：模型根本没有把目标带入视野。 2. 「发现目标后，身体仍然到不了那里」 。这类轨迹中 68% 没能完成导航，多数与第一视角下的自我空间判断有关：不知道自己离目标多远，也不知道何时该停下。 3. 「接触目标后，也未必能完成交互」 。不同模型完成坐下的成功率从 90% 到 3.5% 不等。缺的不是坐下动作，而是在正确时机发出它。 图 7：失败模式分析 碰撞分布进一步印证了这一点：腿脚在 28%–45% 的动作步中发生碰撞，而位于视野中心附近的头部不到 7%。模型会撞到自己难以看见的部位，甚至在正确描述墙的位置之后，下一步仍然把腿走进墙里。 图 8：身体碰撞分布 这些失败共同指向一种更基础的缺口：「具身自我感知（embodied self-awareness）」。当前 VLM 很会描述眼前的世界，却无法持续维护 “身体在哪里、朝向哪里、刚才碰到了什么” 的在线估计。问题不是少看了一帧，而是模型没有把自身身体及其动作后果作为需要持续更新的状态。 图 9：典型失败：坐进空气 结构化推理比更长的历史更重要 消融实验给出了一个具体线索： 闭环行动需要的不是更长的上下文，而是有结构的推理过程 。 1. 紧凑的结构化记忆、中层目标和短上下文验证器都会改善结果。 去掉中层目标，完整交互成功率从 18.9% 降到 0；去掉验证器，导航成功率从 27% 降到 2% 。 2. 继续增加文字或图像历史收益递减， 十帧图像历史甚至会让结果变差 。关键不在于记住更多，而在于围绕身体状态组织信息：刚刚做了什么，世界因此发生了什么，现在最需要确认什么。 图 10：消融：推理结构 vs 更长历史 这也指向 HumanCLAW 背后更大的问题：行动智能，会不会随基础模型的通用推理能力一起增长？ 行动智能会随基础模型一起进步吗？ HumanCLAW 关心的并不只是今天的模型能否完成一组室内任务，而是更长远的问题：当基础模型获得更强的视觉理解和推理能力，这些进步是否可以自然转化为行动能力。在同一套评测上持续比较不同基础模型，已经给出一个值得记住的信号：「最强开源模型的表现已经接近最好的闭源模型」。 以此为起点，未来可以沿三个方向继续推进： 跨越不同的身体和任务 ：扩展身体形态、技能、物体交互和任务长度，检验当前发现能否推广到更开放的环境。 从模拟走向真实机器人 ：将高层决策接入学习得到的控制器，重新引入硬件噪声、控制误差和真实接触，研究模型的决策能力能够保留多少。 形成对自身