GPT-6-Astra具身能力遭大考！传统基准拿满分，真机频碰壁

编辑｜杜伟 上月发布 GPT-6-Astra 时，OpenAI 称它为「全球智能程度最高且最符合人类意图的模型」。具身社区则是惊讶的发现，VLA vs WAM 的路线之争，被通用大模型用文字模态「降维打击」了，大家不禁想问： 「GPT-6-Astra 的具身能力上限到底在哪？具身社区下一步最值得做的是什么？」 近日，商汤联合大晓机器人、Ropedia、新加坡南洋理工大学和东京大学的研究团队在《Has GPT-6-Astra Achieved Embodied Intelligence?》中，给出了 覆盖 12 项仿真评测、8 个真实机器人平台的系统分析 。 他们还分析了 GPT-6-Astra 与底层机器人控制系统的协作方式，搭建了一套更贴近真实家庭需求的具身评测原型。 技术报告地址：https://www.sensenova.ai/has-gpt-6-astra-achieved-embodied-intelligence 有意思的是，同一个 GPT-6-Astra，在简单解除限制之后，在多项传统具身评测中交出了满分或接近满分的成绩：其中在长程组合操作评测基准 LIBERO-Long++ 上达到 100%，在考察操作鲁棒性和泛化能力的 LIBERO-Pro 上达到 99.3%，人形机器人基准 SIMPLE 上达到 98.8%，RoboDojo 上也可以达到 81.9%。但当这个模型指挥起真实机器人干活，一些日常小事，依然让它犯了难。 「把笔放进笔筒这个对人来说几秒钟就能完成的任务，总耗时 4 个多小时，消耗 55 美元。」 「明明判断鸡蛋煎好了，却没能及时关火，最后把鸡蛋烧焦；打开冰箱放下牛奶后，又转头忙着搬水果，让冰箱门敞开了好几分钟。」 「插入插头的操作，在多款真机交叉验证 11 次，一次都没成功。」 高分与失误放在一起，明显的反差暴露出一个关键问题：有能力规划、观察并纠正动作的通用大模型，距离可靠地干活，还有多远？ 报告给出的判断是： GPT-6-Astra 已经在很大程度上跨过了具身能力的门槛，但距离能够实用部署的具身智能仍有相当差距 。实验中暴露出的成本及耗时的问题、那些意想不到的失误，恰好说明接下来的最值得啃的硬骨头在哪里。 值得注意的是，在去年 GPT-5 发布后，相同团队也做过一篇针对其空间智能的评测文章《Has GPT-5 Achieved Spatial Intelligence》，随后就发布了 SenseNova-SI 系列模型。这么看来，这次的评测更像是一次「提前预告」。 从满分到不足三成 成功率差在哪？ 当前，机器人操作领域广泛采用经过专门训练的控制策略，以及视觉 - 语言 - 动作模型（VLA）等技术路线。这类模型通常利用真实或仿真的机器人操作数据进行训练，让机器人根据视觉信息和任务指令，执行抓取、移动、放置等动作。 GPT-6-Astra 的出现，为具身智能提供了另一种可能。通用大模型能够结合视觉信息、机器人状态和任务要求，直接生成操作指令，以进行后续执行和调整。它能完成的任务，也开始跨越不同的机器人形态。 为了系统地研究这种能力， 商汤 SenseNova 及其联合研究团队选取了 12 项代表性评测，覆盖桌面操作、灵巧操作、人形机器人移动操作、家庭长程任务和视觉语言导航等五类场景 。评测中，GPT-6-Astra 使用同一套评测思路，在不同环境中读取观察到的信息、生成机器人动作，并根据执行结果继续决策。 成绩确实很突出。除了上文已经提到的 LIBERO-Long++、LIBERO-Pro 和 SIMPLE，在超长程机器人操作基准 LIBERO-Ultra-Long 上为 98.9%。对于更复杂的灵巧操作，GPT-6-Astra 在 DexJoCo 上取得 87.3% 成功率，在 RoboDojo 上达到 81.9%。这说明，GPT-6-Astra 在大多数评测中达到或超过了当时已公开方法的最好成绩。 图 1：报告中 12 项评测与当时公开结果的比较。 这些高分成绩的背后，研究团队设计了两个关键条件： 第一个是上下文学习（ICL） ：评测前，GPT-6-Astra 可以查看训练集里允许使用的成功示范，从中整理任务说明、动作轨迹、视觉参考、辅助代码和失败恢复方法，形成知识包。知识包在正式测试前冻结，模型参数保持不变，测试任务之间也不交换新的经验。 这相当于让模型先研究已有操作资料，再进入考场。机器人遇到当前场景时，可以检索相近的示范动作，结合眼前物体的位置加以调整。它利用了任务经验，但没有通过重新训练模型权重来学习这些动作。 图 2：ICL 训练范式。 第二个条件是 增加执行步数 。传统具身评测通常会限制机器人的最大动作步数，一旦达到上限，即便任务只差最后几个动作，也会被判定为失败。 研究团队在标准执行预算（1×）的基础上，允许模型最多使用 10 倍的动作步数。当机器人抓取失败、物体偏移或者操作没有达到预期时，可以继续观察环境，调整操作方案并重新尝试。 这一调整带来的效果立竿见影，以 RoboDojo 基准为例，其上的成功率从标准预算下的 27.6% 提高到 10× 预算下的 81.9%。Bench2Dex 也从 25.6% 提高到 61.5%。 在这类需要反复调整抓取位置、双手配合和接触精度的任务中，GPT-6-Astra 具备了一定的失败恢复能力 。 图 4：GPT-6-Astra 的任务成功率随允许执行的操作步数增加而变化。 然而，这样的提升并没有发生在所有基准上。在家庭长程基准 BEHAVIOR 中，成功率只有 37.0%。在长程导航基准 LHPR-VLN 中，即使扩展执行预算，成功率也只有 28.9%。可以看到， 对于这些需要持续管理多个子任务的复杂场景，增加操作次数带来的帮助相对有限 。 即使能纠错，仍可能越做越糟 商汤 SenseNova 及其联合研究团队整理的失败案例中，有一个场景很有代表性： 机器人需要把杯子挂在挂钩上 。GPT-6-Astra 通过头部摄像头观察，发现杯柄似乎已经与挂钩重合，于是判断操作成功。但从另一个摄像头视角看，杯子其实没有挂上去，反而落在了桌面。模型随后还尝试重新抓取，但又把机械夹爪闭合误认为已经接触到了杯子，导致后续操作继续出错。 拼图任务也出现了类似情况 。GPT-6-Astra 判断四块拼图已经组成目标形状，但实际上仍有部分位置没有对齐。由于无法识别哪里出了问题，它不断调整拼图位置，却将原本接近完成的部分重新弄乱。 这两个案例说明， 即使模型能够理解任务目标，也可能无法准确判断物理操作是否真正成功 。在语言或软件任务中，很多结果可以通过文本、程序输出或者测试反馈进行验证。但在机器人操作中，物体看起来放到了正确位置，并不代表它稳定接触、支撑、对齐或固定到位。 机器人需要判断的是物体之间真实的接触和位置关系，但对于 GPT-6-Astra 来说，这存在困难 。更麻烦的是，物理世界中的一些错误发生后很难补救。 在 RoboDojo 的倒液体任务中，GPT-6-Astra 操作时把杯子碰倒，液体洒在了桌面上。模型随后将杯子扶正，尝试继续倒入液体，但洒出的部分无法通过简单重试恢复。在 DexJoCo 的装配任务中，一个零