智能AI
morning
编程智能体指挥机器人,该怎么考?1156个任务、三种考法,把失败定位到每一步
摘要
让编程智能体控制机器人,该怎么考?EFE 的答案是:只规定结果,不规定做法;同一道题最多分三种模式考;不只打分,还要找出失败的原因。 考编程智能体,难在它没有固定的做法。训练好的机器人策略只做一件事:把画面和传感器读数变成动作。编程智能体却可以直接操控机器人、编写控制程序,或者先训练一个策略再上场。 要公平地考这样的智能体,题目、条件和评分都要重新设计。为此,来自西北大学、卡内基梅隆大学等 8 所...
GPT
Embodied
Claude
https
Astra
Fable
EFE
不只打分
First
不止抓取放置
2026-11-22
1 阅读
约10分钟阅读
机器之心
字号:
让编程智能体控制机器人,该怎么考?EFE 的答案是:只规定结果,不规定做法;同一道题最多分三种模式考;不只打分,还要找出失败的原因。 考编程智能体,难在它没有固定的做法。训练好的机器人策略只做一件事:把画面和传感器读数变成动作。编程智能体却可以直接操控机器人、编写控制程序,或者先训练一个策略再上场。 要公平地考这样的智能体,题目、条件和评分都要重新设计。为此,来自西北大学、卡内基梅隆大学等 8 所高校的团队搭建了 Embodi ed First Ex am(EFE,具身第一考) ,用同一套框架考各种编程智能体控制仿真机器人的能力。这项工作有四项贡献:三条设计原则,加上系统分析。 题目要多样,不止抓取放置 。共 1156 个任务、35 个任务集、47 款机器人。 量出成功率如何随物理约束变化 。每个任务最多三种模式,分别改变智能体能看到的信息、能否重置、环境是否等待。 为不同模型、智 能体框架和控 制方式提供统一的基础设施 。一条命令即可运行,换模型、换框架只需改两个参数;智能体可以直接控制、编写程序或训练策略(图 1)。 不只打分,还要找出原因 。用对照实验拆开不同条件的影响;把任务拆成阶段,定位每次失败发生在哪一步。 图 1|统一框架:支持不同的模型与智能体框架、控制方式和仿真器;评测分 特权、标准、实时三种模式 论文标题:Embodied First Exam 论文链接:https://arxiv.org/abs/2611.12177 项目主页与榜单 (最新结果以网站为准) :https://www.embodied-first-exam.ai 代码:https://github.com/mll-lab-nu/embodied-first-exam 一、考什么: 不止抓取放置 改编自已有基准的 745 个任务中,有 618 个使用单臂、双臂或移动机械臂。为补上其他机器人和能力,团队新建了 9 个任务集,分为三组: 需要持续接触的精细操作 (RoboARC、DexHandExam、RoboPaint):可变形物体、多零件装配和工具使用。 移动的物体与对手 (RoboDynamicExam 和两个 Embodied Olympics 任务集):要在正确的时机出手;考试中的人形机器人任务大多在这里, 例如下面视频中的扣球。 超出「执行给定目标」的能力 (iSpatialGym、Embodied Safety Exam、RoboEngineer):自己理解目标、判断请求是否安全、让控制器适应陌生的动力学。 人形机器人扣球过网(Embodied Olympics - Fun):GPT-6 Astra,特权模式 团队从全部 1156 个任务中选出 456 个高难度任务作为核心集,评测了 10 个编程智能体。各任务集的难度差别很大 (以下只统计至少有 5 项测试的任务集) :按五个强智能体(Claude Fable 5.2、GPT-6 Astra、 GPT-6.1 Sol、Claude Opus 5.5、Gemini 4 Argon )的平均成功率,特权模式下有 12 个任务集达到 70%以上,标准模式下只有 1 个。 再数五个强智能体都没有解出的测试 :标准模式下,22 个任务集里有 7 个占到至少一半;特权模式下,20 个任务集里只有 HumanoidBench 一个(图2)。 图 2|各任务集的成功率:圆点是五个强智能体各自的成功率,条形是它们都没有解出的测试比例,黑色表示至少一半 图 3 把核心集标准模式和特权模式上的尝试逐一展开:每列是一项测试,先按 Claude Fable 5.2 是否解出分成两部分,每部分内按解出它的智能体个数排列;灰到黑的格为解出,颜色越深,这次尝试花费越高。 图 3|核心集上的每一次尝试 (不含实时模式) :上为标准模式,下为特权模式;行是智能体,列是测试 从 10 个智能体都解出,到无人解出,每一档都有测试:难度是连续分布的,考卷能把智能体分出高低:标准模式下,最强的 Claude Fable 5.2 解出一半,最弱的几个不到 7%。 较弱的智能体也几乎解不出强者解不出的题 : 五个较弱智能体在标准模式下只比强智能体多解出 1 项测试,在特权模式下一项也没有多解出。 核心集排除了团队判断为简单的任务,以及初筛模型 GPT-6 Luna 已解出的任务。GPT-6 Luna与GPT-6 Astra、GPT-6.1 Sol 同属一个系列,这种筛选可能对该系列不利。按任务图(见第四节)中的阶段类别给核心集任务分组(图 4),最多的是放置、组装等物体关系类(Relation);含动态、身体或竞技类阶段(Dynamic、Body、Competition)的任务共 99 个,其中 86 个来自新建的任务集。 图 4|核心集任务按任务图中的阶段类别分组,每组配例图:每个点是一组中的一个任务,一个任务属于几组就占几个点,共覆盖有任务图的427个任务;黑点来自新建的任务集,灰点来自改编的任务集 题目定了,在什么条件下考? 二、在什么条件下考: 同一道题,逐级收紧条件 同一个任务在不同模式下,初始场景、成功标准和时限都相同。不同之处如下: 比较同一任务在不同模式下的成绩,就能看出收紧这些条件的影响。 例如连续头球十次(图 5):特权模式下有 6 个智能体顶满十次;标准模式下只能从相机画面里看球,10 个智能体全部失败。 图 5|连续头球十次(Embodied Olympics - Fun):每个智能体两行,S 为标准模式,P 为特权模式,每列对应一次头球;特权模式下 6 个智能体完成,标准模式下全部失败 把任务拆成阶段(方法见第四节),逐阶段比较特权和标准两种模式的失败率(到达该阶段的尝试中失败的比例),精细阶段比粗略阶段受影响大得多。在至少两个任务集中都出现的阶段类型里,组装、对准位姿、接触移动物体等精细阶段,换到标准模式后失败率上升 19 至 51 个百分点;放置、抓取等粗略阶段,9 类中有 7 类只上升 3 至 18 个百分点(图 6 中)。例如,组装的失败率从 25% 升到 76%,放置从 18% 升到 31%。分开考,才看得出收紧条件影响的是哪一类动作。 图 6|左:GPT-6 Astra 逐项补回特权能力后的成功率(见第四节);中:各阶段类型在特权和标准模式下的失败率;右:GPT-6 Astra 基线运行中失败的测试,按失败阶段分为精细(黑)和粗略(灰),各条件下解出的比例 条件定了,用什么平台考? 三、用什么考: 只限定结果,不限定做法 EFE 只固定三件事:从哪里开始、给多少资源、怎么判定成功。 统一打包 。每个任务按 Harbor(Terminal-Bench 使用的评测框架)的格式打包;开考只要一条命令,换模型或智能体框架,改两个参数即可。智能体在自己的容器中可以安装软件包、编写和运行程序、训练模型。 独立评分 。评分程序在智能体的容器之外运行,智能体无法修改评分结果。 去掉已知答案 。改编任务保留原基准的场景、机器人和成功标准(部分任务集的成功标准更严),但删除原基准的专家策略和演示数据。 资源上限 。每个任务都限定时间、token、CPU、内存和磁盘,需要
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱