首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

Fable 5.2开卷80%,闭卷仅47%!最强编程智能体遇上机器人难题

摘要

新智元报道 编程智能体已经能在数字世界完成复杂任务。 借助编程接口,它们也可以指挥物理世界中的机器人。 但机器人任务和软件任务有本质不同:智能体只能通过传感器了解环境,动作做出去往往无法撤回,环境也不会停下来等它思考。 于是有一个基础问题: 通用编程智能体能完成哪些 机器人 任务?在哪些物理约束下能完成?又会在哪里失败? 为回答这个问题,西北大学、卡内基梅隆大学等8所高校的研究者提出了 Embod...

embodied exam https first GPT EFE 一条命令即可开考 harbor run Opus
2026-11-19 1 阅读 约10分钟阅读 新智元
分享:
字号:
新智元报道 编程智能体已经能在数字世界完成复杂任务。 借助编程接口,它们也可以指挥物理世界中的机器人。 但机器人任务和软件任务有本质不同:智能体只能通过传感器了解环境,动作做出去往往无法撤回,环境也不会停下来等它思考。 于是有一个基础问题: 通用编程智能体能完成哪些 机器人 任务?在哪些物理约束下能完成?又会在哪里失败? 为回答这个问题,西北大学、卡内基梅隆大学等8所高校的研究者提出了 Embodied First Exam(EFE,具身第一考) :一个把各种编程智能体接入仿真机器人的统一评测框架。 图1|EFE 总览:任务规模、运行命令与三种模式 论文链接:https://arxiv.org/abs/2611.12177 网站与榜单 (最新结果以网站为准) :https://www.embodied-first-exam.ai 代码:https://github.com/mll-lab-nu/embodied-first-exam 视频与轨迹数据:https://huggingface.co/datasets/MLL-Lab/embodied-exam-data 这项工作有四项贡献: 一套统一考卷:规模大、种类多、难度高。 1156个任务、47种机器人,远不止桌面抓取放置;最强的编程智能体在456项标准模式核心测试上也只解出一半。 三种评测模式,量出离真机还有多远。 在同一批391个核心任务上,最强者在特权模式(读取完整仿真状态、不限次重置)下解出80%,在标准模式(只靠传感器、默认不能重置)下只有47%。 统一的基础设施。 一条命令即可开考,换模型、换智能体框架只需改两个参数;怎么控制机器人由智能体自己决定:直接下指令、编写控制程序,或者训练策略。 系统分析:不只给分数,还找原因。 对GPT-6 Astra的对照实验中,补上重置比补上精确状态更管用:看得准,不等于做得准;逐阶段标注10个智能体的6027次失败,不同智能体常常败在同一步;足球任务中,有GPU和训练库时,智能体多会自己训练策略。 统一考卷 规模。 EFE包含 1156 个任务、 2288 项测试(一个任务在一种模式下考一次,算一项测试),覆盖 35 个任务集、 23 个仿真器和 47 种机器人。机器人分为8类:单臂、双臂、灵巧手、人形、移动机器人、四足、飞行器和肌肉骨骼模型。 多样性。 除了改编自已有基准的26个任务集,团队新建了9个任务集、411个任务,覆盖桌面抓取放置之外的能力:解绳结、组装宜家家具、用灵巧手翻书、用画笔临摹画作;接住抛来的球,打完一整场乒乓球或击剑比赛;只凭一张完成后的目标画面完成任务;识别并拒绝危险请求;把控制器部署到动力学未知的仿真器上。 图 2|9 个新建任务集与 26 个改编任务集 例如,在标准模式下,GPT-6 Astra只凭传感器读数控制人形机器人打乒乓球,以5比2赢下整场比赛: 易用性。 所有任务用同一种格式打包,各家智能体框架(harness)无需改动即可接入。一条命令即可开考: harbor run -d embodied-first-exam -a codex -m openai/gpt- 6 -astra 换智能体框架或模型,只需改-a和-m两个参数,例如换成Claude Code中的Claude Opus 5.5: harbor run -d embodied-first-exam -a claude-code -m anthropic/claude-opus- 5 - 5 每次尝试的日志都在网站公开,大多可以逐步回放。 难度。 团队选出 456 个高难度任务作为核心集,排除了简单任务和初筛模型已解出的任务,评测10个智能体,每项测试运行一次。在456项标准模式核心测试上,最强的Claude Fable 5.2(Claude Code)解出 50% ,GPT-6 Astra(Codex)为34%, GPT-6.1 Sol(Codex)为32%, Claude Opus 5.5和Gemini 4 Argon分别为25%和24%,Kimi 3.1 Pro为10%,其余四个都不到7%。 实时模式更难:在54个同时考标准和实时两种模式的任务上, 实时模式下近一半(46%)的测试无人解出 ,标准模式下这一比例是35%。 图3|10个智能体在核心集上的成功率,括号内为解出数 闭卷时,没有通吃的赢家 最强的也只解出一半,剩下的题谁能解? 下图把每一次尝试都画了出来:每行是一个智能体,每列是一项测试;灰到黑的格为解出(越深花费越高),最浅的底色为失败。上半部分是标准模式,下半部分是特权模式。 图4|核心集上的每一次尝试:上为标准模式,下为特权模式;行是智能体,列是测试 标准模式的456项测试中, 169项没有任何智能体解出 。其余的题,也没有哪个智能体能全部包揽: 另外四个强智能体合计解出了60项Claude Fable 5.2没有解出的测试。 例如, GPT-6 Astra解出的157项里,有39项Claude Fable 5.2没有解出,其中一半以上来自安全判断(Embodied Safety Exam)、家务(BEHAVIOR-1K)和绘画(RoboPaint)三个任务集; Claude Opus 5.5解出的114项里,有46项GPT-6 Astra没有解出,其中不少是搬运物体的任务。题目足够多样,即使最强的智能体,也有别人能解而它解不了的题。 特权模式下,各智能体解出的题大多重合:391项测试中只有43项无人解出,Claude Fable 5.2一个就解出了所有已解测试的89%。每项测试只运行一次,上面的差别有一部分可能来自运行之间的波动 :GPT-6.1 Sol一次运行解出的标准模式测试,再运行一次只能解出其中的56%至70% 。 同一批智能体,开卷时解出的题大多重合,闭卷时各有短板。条件收紧之后,到底发生了什么? 三种评测模式 同一批任务,80%降到47% 同一个任务最多有三种考法,从开卷到闭卷逐级收紧: 图 5|三种模式下智能体可获取的信息与评分方式 特权模式(Privileged) :读取完整的仿真状态,不限次重置,可以反复试错,相当于开卷考试。成功率可看作近似上限。 标准模式(Standard) :只有传感器观测,默认不能重置,相当于闭卷考试,对应真实机器人的条件。 实时模式(Realtime) :在标准模式基础上,智能体思考时环境照常运行。 三种模式下,评分程序都运行在智能体无法干预的地方。 图 6|391 个同时有两种模式的核心任务:各智能体在哪种模式下解出 在这391个任务上,Claude Fable 5.2特权模式解出 311个(80%) ,标准模式只解出 47% 。特权模式解出的311个任务中,有136个换到标准模式后失败。 需要精确对准的步骤,换到标准模式后最容易出错。例如,Claude Opus 5.5给风扇装前罩:特权模式下,它把前罩对正装上,偏差0度; 标准模式下,它把前罩举在偏离风扇轴线36至39度的位置,而安装只允许5度偏差,继续往里推,整个风扇都被推动了。 图7|给风扇装前罩(DexHandExam,Claude Opus 5.5):上为特权模式,
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱