首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 汽车 游戏 社会热点 开源推荐 医疗健康 归档 标签 关于
智能AI morning

突发,全球顶级角斗场RoboColiseum爆冷!Opus 5.5竟击败GPT6、Gemini 4

摘要

新智元报道 如今,AI正式杀入物理世界! 在具身能力方面,语言模型到底谁能称王? 更残酷的问题是,机器人公司耗费数年苦练的本领,会被通用LLM直接碾压吗? 就在今天,GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5 以及 Gemini 4 Argon 等全球最顶尖的多模态大模型齐聚一堂。 在常态化具身智能仿真评测平台 RoboColiseum(机器人角斗场) 上,它们...

GPT Astra Claude Sol Opus Gemini Argon 指令跟随 去掉历史记录 新智元报道
2026-10-20 1 阅读 约10分钟阅读 新智元
分享:
字号:
新智元报道 如今,AI正式杀入物理世界! 在具身能力方面,语言模型到底谁能称王? 更残酷的问题是,机器人公司耗费数年苦练的本领,会被通用LLM直接碾压吗? 就在今天,GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5 以及 Gemini 4 Argon 等全球最顶尖的多模态大模型齐聚一堂。 在常态化具身智能仿真评测平台 RoboColiseum(机器人角斗场) 上,它们展开了一场真刀真枪的「肉搏战」。 这份榜单不仅彻底炒热了具身智能圈,更无情地揭露了当前顶尖大模型在控制机器人时的「隐藏命门」! 揭榜时刻:四模型大乱斗,结果令人意外 本次测试,所有的顶尖模型都接入了统一的控制框架 Agent2Act ,在同样的任务、同样的指令下接受大考。 Claude 摘得桂冠,「高智商、低动手」成通病 在综合榜单中, Claude Opus 5.5 爆冷击败 GPT-6 Astra ,以 76.28% 的总分拿下四款大模型中的第一。GPT-6 Astra 以 75.99% 紧随其后。 最令人兴奋的是,在「指令跟随」和「空间理解」这两个极其考验「脑力」的赛道上, 大模型的得分碾压了传统的机器人专用策略模型 。 但是! 一到了「通用操作」环节(比如开门、倾倒、上货等需要复杂动作的任务),四大 顶尖模型 全军覆没 ,统统落后于专用 Policy 模型Paimon。 结论: 现在的顶尖大模型是典型的「眼高手低」——脑子转得极快,空间方位算得极准,但一让它做复杂的连贯物理动作,立马手忙脚乱。 各有所长,不看总分看「绝活」 这场角斗并不是单维度的碾压,四个模型各有千秋: Claude Opus 5.5堪称 全能王者,空间理解和通用操作能力领跑全场。 GPT-6 Astra是 听话小能手,在「指令跟随」和「扰动抵抗」上稳居第一。 而GPT-6.1 Sol是 性价比之王!在参考价格和 Token 消耗下,它展现出了极佳的成本控制,是落地应用的高性价比之选。 Gemini 4 Argon 虽然总分垫底,但它的「抗扰动」能力出人意料地超越了 Sol,且在「包裹分拣」这种长程任务上表现极其惊艳。 大模型的「阿喀琉斯之踵」——看图怕糊 如果机器人的摄像头稍微有点噪点,或者光线不太好怎么办?测试结果让人捏了一把汗: 图像质量变差,是所有大模型共同的致命弱点! 在加入噪点、镜头遮挡等图像质量扰动后: Claude 分数下降 0.20 Gemini 下降 0.26 Astra 下降 0.32 Sol 直接暴跌 0.77分 ! 也就是说,加点马赛克,AI 就直接「双目失明」。这给未来的真机部署敲响了巨大的警钟。 「认识」不等于「会用」 测试中出现了一个非常经典的画面(端锅任务):大模型明明认出了那是一口锅,但它抓取的方式极其别扭,简直像在拿一个烫手的山芋。 但如果我们给它加上一条明确的交互提示(比如「请抓住锅柄」),它立刻就能完美地双手稳稳端起。 双臂端锅失败|双臂端锅成功 这说明 大模型缺乏人类的「物理常识」。 它能在二维图片里圈出「这是锅」,却不知道在三维现实中,锅必须端着两边才稳。 去掉历史记录,AI失败率暴增 研究团队做了一组「剥夺实验」:分别撤掉反馈、深度信息、抓手说明、历史记录等配置,看看机器人还能不能完成任务,又要多折腾多久。 拿掉动作偏差反馈,它就更难做出正确判断,指令跟随成功率从90%降到80%,平均规划决策从16.7次增至35.6次,耗时从32.50分钟涨到58.26分钟。 一次动作没做好,后面可能要花更多时间补救。 拿掉深度信息,成功率降到80%,平均下发控制步数增加到158.2步。不过,平均耗时反而缩短了。 取消相机投影自检后,机器人开始反复抓取和物体脱手 不告诉它抓手的形状和接触方式,它可能连「手该怎么摆」都反复试不明白。 最直观的一组,是拿掉历史记录。 在单独测试的4种「把积木放进盒子」布局中,完整系统全部成功;没有历史记录后,只成功了2种。 失败的两次都已经把积木拿起来,却在放置阶段反复尝试相同动作,堪称「鬼打墙」! 积木入孔:去掉历史记录,Astra能抓取积木但放置失败 物体拿到手了,任务却卡在了后半程。 这证明了 深度视觉、动作反馈和历史记忆等,是具身智能闭环中不可或缺的灵魂。 打破桌面限制,走向全场景 以往的机器人测试往往局限在桌面上抓抓放放,但这次的报告展示了 GPT-6 Astra 更广阔的潜力: 它能协调底盘、躯干和机械臂去扔垃圾、开门;能在家居场景里跨房间去厨房拿一罐雪碧放到餐桌上。 全身控制:Astra完成垃圾拾取与投放|Astra移动取罐、携物行进与餐桌放置 更牛的是,它能通过同一套系统,无缝控制 ARX、AgileX、G1、G2 等形态各异的机器人! 棋子收纳:Astra在4种本体上均可完成 语言模型通吃具身智能?灵巧手和精细任务仍是明显短板 GPT-6 Astra竟然这么强,是不是说语言大模型可以通吃具身智能? 测试发现,并不能。 大模型能搞得定躯干的「大开大合」,却搞不定指尖的「穿针引线」。 一旦面对需要「灵巧手」操作的精细活——比如让它叠碗,或者从塞满的书架上取出一本书,强如 GPT-6 Astra 也会立马「歇菜」,手忙脚乱,屡战屡败。 灵巧手叠碗:Astra能够接近、接触,但是尝试抓取失败|灵巧手取书:Astra多次调整抓取姿态,仍取书失败 即使进一步补充手指、手掌的几何信息,机器人仍未成功端起一只碗。 而对手机充电和插网线这类精细任务,对GPT-6 Astra而言依旧艰难,能拿起手机和网线,却对不准插口方向。 手机充电:Astra抓取成功,但充电口方向错误无法接入|插网线:Astra能够夹起网线,但无法完成插入 这组实验画出了 Astra 这类大模型的能力边界。 它已在全身协同和跨本体操作中表现突出,但灵巧手 任务 和精细操作仍有待突破。 而这些难住大语言模型的细活,恰恰是专用策略模型胜出的机会。 细节决定胜负,机会留给早有准备的人。 什么是 RoboColiseum?对齐真实世界的「度量衡」 看完这场神仙打架,你一定会好奇:究竟是什么样的一个平台,能把这些心高气傲的全球顶尖大模型拉到同一条起跑线上,并且测出这么详尽、直击痛点的数据? 这就是我们今天隆重介绍的—— 常态化具身智能仿真评测平台 RoboColiseum! 在具身智能圈,一直有一个巨大的痛点: Sim2Real Gap(仿真到现实的鸿沟)。 很多模型在电脑模拟器里猛如虎,一放到真实物理世界里的机器人身上,遇到点光照变化、相机噪点,立马手忙脚乱、现出原形。测试成本极高,周期极长。 RoboColiseum 彻底打破了这一魔咒! 它基于高保真仿真环境构建,渲染和物理交互极限逼近真实世界。经过严苛测试, 其仿真评测与实机部署的相关性高达 89.5%! 相同模型在仿真与现实中的表现差异小于 10%。 这意味,虚拟即现实! 开发者完全可以把它当成真实世界的「可靠前哨站」。在花大价钱买真机、花几个月做调试之前,先在 RoboColiseum 里跑一圈,快速筛掉不靠谱的模型,精准定位能力短板。 精准归因你的「弱点」 只给一个干巴巴的「成功率」有什么用?RoboColiseum 推出了四大能力子榜、
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱