智能AI
morning
VLA/WAM已死,基模当立?Mind2Act World通用基准用「知行合一」角度为具身模型诊断进化方向
2026-11-22
1 阅读
约10分钟阅读
机器之心
字号:
机器之心发布 VLA/WAM 已死,基 模当立? 过去一个月,通用大模型以 Agent 的方式接连在机器人操作评测中拿到高分,端到端的 VLA 和 WAM 还要不要继续做,成了具身智能圈绕不开的话题。 这场争论里,双方手里的证据都是成功率。成功率能说明谁做成得更多,却说明不了没做成的部分差在哪里:一条路线是走到了头,还是只差一块补得上的短板,单看分数分不出来。 以一道烹饪题为例,机器人要按记住的配方依次下料,等锅温升到 80℃ 后在两秒内切到保温。世界动作模型 InternW0 和由 GPT-6 Astra 驱动的 Agent 都没有做成,但失败的方式很不一样:InternW0 的 300 个回合里,有 271 个是料还没下完就开了火;GPT-6 Astra 的 30 个回合里,有 21 个连食材罐都没抓起来。 同样是没做成,前者缺的是对上一步的确认,后者卡在抓取,要补的东西完全不同。 把这样的差别找出来,正是 Mind2Act World 要做的事。这套 通 用机器 人操作诊断基准由清华大学 mmlab@SIGS 联合远行光年公司等 16 家高校与机构发布,共 30 项任务、180 种配置 。它把机器人的「想」和「做」先分开考、再合起来考,并为失败回合逐一找出原因,汇总成 模型的诊 断卡 并给出能力提升方向 。首批评测 覆盖 9 个代表性系统、56,700 个仿真回合 ,榜单持续开放参评。 结果显示,表现最好的 Agent 在只考「想」(记忆与推理)的任务上成功率为 52.7%,在只考「做」(物理执行)的任务上为 39.0%,到了两者缺一不可的任务上只有 12.0%;端到端策略在这类任务上最高为 3.6%。 回到开头的问题:两条路线各有所长,端到端策略强在「做」,Agent 强在「想」,需要边想边做的任务都还没有拿下。 比起哪条路线会赢,眼下更值得回答的或许是:每个模型究竟差在哪一步。 论文标题:Mind2Act World: A Diagnostic Benchmark for Embodied Mind, Physical Action, and Mind-Action Composition in Robotic Manipulation 项目主页:https://mind2act-world.com 论文地址:https://arxiv.org/abs/2611.26444 排行榜:https://mind2act-world.com/leaderboard.html 模型诊断卡:https://mind2act-world.com/diagnosis.html Benchmark 代码:https://github.com/Mind2Act/Mind2Act_World 训练数据:https://huggingface.co/datasets/Mind2Act-World/mind2act-train Mind2Act World 项目介绍视频 Mind2Act World 全景:30 个任务、12 类能力、诊断闭环与当前排行榜 同样是 0 分,原因各不相同,先给每一次失败找到原因 要回答「差在哪一步」,先得有一套给失败找原因的办法。 Mind2Act World 的评测器在判定成败之外,还记录每个回合的阶段进展和关键事件。规则能判定的失败先由规则判定,其余交给大模型裁判查看视频和动作记录,拿不准的再由人工复核。每个失败回合只追究第一个无法挽回的错误,看它是错在「想」、错在「做」,还是错在两者的「协同」,也就是没确认上一步的结果就往下走。 一个模型的所有失败回合汇总起来,就是它的诊断卡。报告为 InternW0、GPT-6 Astra 和 G0.5 三个代表性系统生成了实测诊断卡。 先把「想」和「做」分开考,再合起来考 要说清败在哪一步,任务本身得先把不同的能力分开。技术报告以王阳明论「知行合一」的一句话开篇:「知是行之始,行是知之成。」30 项任务也照此分为三组,每组 10 项: Mind(想):动作尽量简单,考的是记忆与决策。 比如蒸笼复原:逐层看过笼里的食物,再按原来的顺序叠回去。 Act(做):目标直接给出,考的是做得准不准、时机对不对。 比如从运动的传送带上抓取物体。 Mind2Act(想与做协同):步骤环环相扣,记住的信息决定当前动作,动作的结果又决定下一步。 Mind2Act World 任务总览:三类任务各 10 项,覆盖 5 个应用领域、12 类能力 每项任务设 Easy、Medium、Hard 三档难度,各在干净场景和随机化场景(增加杂物、更换材质与光照)下测试。成败只看物理结果:物体是否放稳,按键是否真的按下。 想对一半,做对四成,合起来只剩 12% 参评的 9 个系统分为两类。3 个 Agent(GPT-6 Astra、DeepSeek-V4.1-Flash、Gemini-4-Argon)通过工具调用来操作机器人;4 个 VLA(KinRT、π0.5、G0.5、X-VLA)和 2 个 WAM(InternW0、FastWAM)用同一套 4,500 条演示微调。两类系统的动作接口和预算不同,分开排名。 各系统在 Mind、Act 与 Mind2Act 任务上的成功率(%),Agent 与端到端策略分别排名 Agent 榜上,GPT-6 Astra 暂列第一:Mind 52.7%,Act 39.0%,Mind2Act 12.0%。端到端榜上,InternW0 以 8.68 的综合得分(满分 100)暂列第一。这类策略在 Act 上表现最好,4 个 VLA 的成功率在 12.0%–19.6% 之间;在 Mind 上均不超过 5.4%;Mind2Act 最高为 π0.5 的 3.6%。 逐任务来看,两类系统的长处恰好互补。 按应用领域分组的逐任务成功率(%) GPT-6 Astra 强在「想」。在隐藏危险区导航任务上,它每个回合都成功,卡片配对的成功率为 93%;换一套桌面材质和光照,它的 Mind 成功率也只从 54.7% 变为 50.7%。但在需要边接触边修正的任务上,它还没有成功的记录,比如端托盘的 30 个回合,都在抬起托盘时失去了控制。 端到端策略强在「做」。在限时的闸门通行任务上,KinRT、π0.5 和 X-VLA 的成功率为 76%–79%,与 GPT-6 Astra 的 80% 相当;叠布料任务上,X-VLA 的成功率达到 64%。不过它们不容易记住任务状态:场景随机化之后,4 个 VLA 的 Act 成功数保住了 86%–94%,Mind 成功数只剩 28%–41%。模型记住的更像是场景「长什么样」,而不是场景里「有什么」。 Mind2Act World 将排行榜可视化为一条「登月之路」,模型位置对应综合得分 流程大多断在前几步,还没轮到「协同」 Mind2Act 的低分,很容易被理解成「想」和「做」协同得不好。逐回合看下来,情况要具体得多。 多数回合在很早的阶段就中断了,依据来自任务得分。每项任务除了成败,还按做到哪个阶段给出 0–100 的得分,成功记 100 分。所有系统的 Mind2Act 得分最多只比成功率高出 1.5 分,也就是
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱