机器人伸手时，杯子被挪走了：LIBERO-MAX用22.4万次仿真检验动态可靠性

设想这样一个场景：你让机器人把桌上的杯子收进托盘。它已经看到了杯子，机械臂正朝杯子伸过去。这时，旁边的人顺手把杯子挪开了几厘米。 对人来说，接着调整一下手的位置就好。对机器人来说，事情可能复杂得多：它之前看到的是旧位置，已经生成的动作也指向旧位置。如果继续执行，手就可能伸向一块空桌面。它能及时看到变化、调整动作，最后把杯子收好吗？ 这个小插曲，指向了机器人走进真实生活时必须面对的问题： 环境会在机器人行动过程中改变，而任务还需要继续完成。 机器人如何接受一场「考试」？ 近年来，机器人开始使用视觉语言动作模型（VLA）：输入摄像头画面和「把杯子放进托盘」这样的指令，模型便生成控制机械臂的动作。一些模型还引入世界预测机制，尝试利用对后续场景的预测帮助行动。 判断这些模型做得好不好，需要一套共同的考试题。机器人评测基准提供标准化任务和仿真环境，让不同模型在相同条件下接受测试，再比较谁能完成更多任务。 已有很多鲁棒性评测会在任务开始前改变条件，例如换一个杯子位置、调整光照或改变视角。机器人从第一眼起，看到的就是调整后的场景。 但「杯子一开始就在另一边」和「手伸到一半，杯子才被挪走」，对机器人提出了不同要求。后一种情况下，机器人已经根据旧画面采取行动，还可能有一串尚未执行的动作。 它需要在已有的执行过程上，继续应对新的情况。 围绕这一问题，来自 Stanford、CMU、MIT、UIUC 和 UT Austin 等机构的研究者提出了 LIBERO-MAX ，将执行过程中的环境变化变成可重复、可比较的测试。 该工作已入选 NeurIPS ’ 26 Robotics World Modeling Workshop 口头报告（Oral） 。 Yunbei Zhang 与 Zijian Jin 为共同第一作者，合作作者包括 UT Austin 教授 Peter Stone 、Stanford 教授 Marco Pavone 、MIT 博士后 Weirui Ye 和 NTU 助理教授 Jianfei Yang 。 论文标题：LIBERO-MAX: Do Robot Policies Adapt When the World Changes? 作者：Yunbei Zhang*、Zijian Jin*、Yuanzhe Liu、Janet Wang、Xilun Zhang、Yuyou Zhang、Zhenyu Zhang、Daoan Zhang、Shuaicheng Niu、Gen Li、Jianfei Yang、Jihun Hamm、Ismini Lourentzou、Weirui Ye、Bo Liu、Peter Stone、Marco Pavone 论文链接：https://arxiv.org/abs/2609.36518 代码链接：https://github.com/liberomax/LIBERO-MAX 项目主页：https://liberomax.github.io/ 同一个机器人，两种后续 回到抓杯子的故事。假如机器人最终失败了，怎么判断是杯子被挪走造成的，还是它本来就抓不好？ LIBERO-MAX 为同一个任务安排两次执行。两次执行共享初始状态、指令、模型随机种子，以及变化发生前的全部动作。到了同一个关键时刻，再让它们经历不同的后续： Base ：不额外加入中途变化，机器人继续执行。 Dynamic ：加入一次环境变化，例如移动目标物体，机器人继续尝试完成任务。 如果机器人在 Base 中成功、在 Dynamic 中失败，就能识别出这次变化破坏了一个原本能够完成的任务。即使两次都失败，也会保留在结果中，帮助区分原有能力不足和中途变化带来的影响。 这套设计以 LIBERO-Plus 和 LIBERO-PRO 的任务为基础，构建了 8,000 组配对案例、8 类执行中途的变化： 目标移动、容器移动、相机视角改变、传感器噪声、光照切换、视觉主题变化、干扰物增加和障碍物插入。 图 1｜两次执行在变化前保持一致，再比较加入变化后的任务完成情况。八类事件覆盖物体位置、视觉观测、外观与杂物，以及路径约束。 一次中途变化，影响到底有多大？ 研究团队评测了 14 种当前机器人策略，涵盖 VLA、混合架构和世界动作模型（WAM），均使用各自发布的推理配置。每个策略完成 16,000 次执行，主评测累计 22.4 万次仿真 。 结果显示： 所有受测策略的成功率都下降了，降幅为 11.0–25.7 个百分点 。 图 2｜每一行代表一个策略。空心圆是没有新增中途事件的成功率，实心方块是加入变化后的成功率。所有策略都出现下降。 即使是动态条件下表现最好的 MolmoAct2 和 π₀.₅，成功率也分别只有 66.9%和 65.7%，丢失了不少原本能够完成的任务。对于其中一个受测策略，超过一半的原有成功案例在变化后转为失败。 配对评测因此提供了两种信息：变化后还能完成多少任务，以及哪些原本能够完成的任务被变化打断。 不同类型模型的排名也相互交错，没有一个模型家族始终占优。当前受测的世界动作模型同样需要面对执行中途的变化，世界预测能力能否转化为可靠行动，还需要通过实际任务检验。 杯子移动、视角变化，为什么尤其难？ 八类变化带来的损失并不相同。目标或容器移动，以及相机和传感器变化，造成了更明显的共同困难；光照和视觉主题变化通常影响较小。 这与抓杯子的故事形成了直观联系：杯子换了位置，原来的伸手目标需要调整；托盘移动了，放置位置需要更新；摄像头视角改变了，机器人又要从新的画面中理解自己与物体的关系。 图 3｜每个圆点代表一个策略的表现变化。按事件拆解结果，可以看清模型在哪些变化下更容易失败。 这种拆解让研究者能够进一步定位问题：应该改进视觉识别、目标更新，还是动作规划？模型改进之后，也可以用同一类事件检查效果。 让机器人多看几次，能解决吗？ 一个自然的想法是：环境可能变化，那就让机器人更频繁地看画面、重新生成动作。 机器人策略常常一次预测一串动作，再执行若干步后获取新观测。这样可以减少模型调用，但变化发生时，依据旧画面生成的动作可能仍在执行。 研究团队在同一组 800 个配对案例上，测试了 4 个策略、18 种有效的动作执行间隔。调整间隔确实会改变表现， 但所有测试设置下，变化后的成功率仍低于对应的 Base 。更频繁的反馈，并未自动消除这道差距。 相机对照实验还发现，同样的视角变化，在第一帧就出现与执行到一半才出现，结果也不同。三个被测策略在中途变化条件下，都比从起点就使用改变后的视角更容易成功。 这说明，评测还需要关注机器人已经走到了哪里、此前执行过哪些动作。面对同样的新画面，不同的执行历史也会影响后续结果。 找到问题之后，能追回多少成功率？ LIBERO-MAX 还可以用来检验针对性的改进。 研究团队选取 300 个固定的传感器噪声案例，在 X-VLA 前加入图像质量检测模块：发现当前图像质量较差时，先修复、去噪，再交给策略处理。策略无需重新训练，检测模块也不会提前收到「变化已经发生」的通知。 表 1｜比较原始观测、始终修复和按图像质量触发修复三种处理方式。 按质量触发修复后，变化后的成功率从 40.7% 升至 47.7%，