李飞飞的世界模型，终于开始训练机器人了

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 李飞飞的世界模型，终于开始训练机器人了 henry 2026-07-30 15:47:37 来源： 量子位 李飞飞老师的World Labs，补了块关键拼图 henry 发自 凹非寺 量子位 | 公众号 QbitAI 李飞飞老师的World Labs，补了块关键拼图。 刚刚，借助新收购机器人公司 SceniX 之力，World Labs发布了全新的机器人策略训练与评估引擎—— Real-to-sim-to-real (R2S2R) 。 这套引擎将World Labs空间智能的版图从生成可交互的虚拟世界，进一步延伸到了真实机器人的训练、评估与部署，并 首次打通了从仿真训练到真实运行的闭环 。 拆开来看，R2S2R包含Real-to-Sim和Sim-to-Real两个部分。 其中， Real-to-Sim 负责把现实中的机器人、传感器、物体以及交互过程搬进仿真，构建与真实任务对齐的虚拟环境。 Sim-to-Real 则让机器人在这些虚拟环境中完成训练和评估，再将策略直接部署回真实世界。 李飞飞老师在X上表示，基于这套方法训练出来的策略，即使完全没用过真实世界数据，也已经能够连续自主运行1小时，无需人工干预。 不仅如此，R2S2R还让机器人策略的评估变得更容易规模化。 通过对齐策略在仿真与现实中的运行过程，真实世界里的成功、失败及其触发条件，都可以在虚拟世界中被复现和分析。 可以说，R2S2R不仅打通了世界模型从生成世界，到训练、评估和部署真实机器人的闭环，也推进了李飞飞此前提出的世界模型三分法中，最关键的一块—— 仿真器 。 在她的经典划分中，世界模型可以承担三种功能：渲染器负责生成观察，仿真器负责模拟世界状态，规划器则负责输出行动。 而R2S2R所做的，正是让World Labs生成的世界从“看起来真实”，进一步变成机器人真正能够进入、交互和学习的训练场。 想scale具身智能，先得scale机器人学习的世界 那么，为什么要扩展机器人的学习环境，而且还非得在仿真里？ 在博客中，World Labs表示： 当前机器人发展的主要瓶颈，已经不只是模型架构，而是缺少能够规模化获取的经验和评估。 一方面，真实世界中的物体位置、光照、物理属性和交互过程都在不断变化。 要让机器人真正走出实验室，就必须提前覆盖足够丰富的场景，并反复测试它在什么情况下会成功、又会在哪里失败。 另一方面，与训练大模型的互联网数据不同，机器人的每一条经验都需要真实发生。 每轮实验都要占用硬件，人工重置物体、恢复失败并维护系统。即便拥有海量人类视频，也很难系统覆盖不同环境、物体属性、机器人状态和失败条件。 因此，仿真最大的价值，并不只是“省下采集数据的钱”，而是可以主动制造现实中昂贵、危险或难以重复的情况，让机器人反复经历成功与失败。 但过去的仿真技术也存在着明显短板。 它不仅需要为每项真实任务单独搭建环境，成本高、速度慢，而且仿真与现实之间往往存在视觉、几何和物理动态上的差距。 更重要的是，机器人在仿真中学会的策略，到了真实世界未必依然有效；仿真中的测试结果，也未必能反映真实表现。 基于上述背景，World Labs推出了从现实到仿真再到现实训练（R2S2R）的仿真引擎，用于训练和评估机器人策略。 其中，Real-to-Sim负责把现实中的机器人、传感器、物体和交互过程重建成与任务对齐的虚拟世界。不仅要还原世界的外观，还要尽可能保留机器人与物体交互时的运动和物理反馈。 Sim-to-Real则利用这些世界完成策略训练与评估，找到模型容易失败的状态，并判断仿真中的表现能否迁移到真实硬件。 两者连接起来，便形成了一套闭环： 从现实中提取任务，在仿真中规模化生成经验、训练和寻找失败，再把策略部署回现实；现实中的新结果，又会继续修正世界模型、训练数据和机器人策略。 也就是说，R2S2R不是简单地用仿真替代真实数据，而是把一个真实任务扩展成大量可控制、可复用的学习世界，让机器人能够以更低的成本反复训练、评估和迭代。 Real-to-sim-to-real 具体来说，这套方法首先从Real-to-Sim开始。 团队先采集机器人、传感器、环境、物体和任务演示等信息，再通过生成式世界建模系统，将其重建为一个可交互的虚拟世界。 这个世界不仅要还原外观和几何结构，还要尽可能复现物体的物理和动力学特性。 比如，在下面的双机械臂装箱任务中，仿真和现实环境会执行相同的动作序列，从而产生高度一致的观察结果、物体运动情况以及最终效果。 这里的难点在于，真实环境并不会提供一套准确参数。 物体的重量、摩擦力可能难以测量，机器人和摄像头也可能与标称规格存在偏差，电缆、包装等柔性物体的形变更难用简单模型描述。 因此，R2S2R会根据不同任务的需要，组合使用不同的表示和建模方法。 完成重建后，团队会让机器人在现实与仿真中执行相同动作，直接比较视觉观测、物体反应和最终结果，从而验证两边是否真正对齐。 而在 Sim-to-Real阶段 ，对齐后的仿真世界会进一步变成一套可扩展的训练与评估引擎。 具体的，机器人先在仿真中学习新策略，评估系统再主动寻找它容易失败的状态，并围绕这些弱点生成新的交互经验，形成“发现问题—补充数据—改进策略”的闭环，最后再部署回真实硬件。 此外，相比现实数据采集，仿真可以系统调整物体位置、机器人状态、视角、外观、物理属性和任务难度，让策略反复经历现实中成本高、难复现甚至不安全的情况，并获得物体状态、接触、受力等硬件上难以采集的监督信号。 而且，一个重建好的任务并不只服务于某个模型或某款机器人。同一套仿真环境可以继续适配不同策略、传感器和机器人平台，从一次性实验变成可复用的训练基础设施。 报告中显示，在没有真实世界数据参与，只在仿真里训练的策略可以直接迁移到ALOHA、RB-Y1、YAM、Flexiv和xArm等机器人平台，完成装箱、绕线、试管转移和杂乱环境中的单件抓取等任务。 其中，电源线绕行、线缆插拔、试管转移，以及马克笔和铅笔抓取等任务，均连续自主运行1小时，期间没有失败，也没有人工接管。 这说明，对齐后的仿真未来可能不只是现实数据的补充，而会成为机器人训练经验的重要来源。 最后，在评估方面。 由于机器人受制于物理世界的运行速度，每测试一个checkpoint，都要重新布置场景、运行机器人并处理失败，成本高，能够覆盖的情况也十分有限。 相比之下，R2S2R则可以先在数千种受控条件下主动寻找失败，提前筛掉表现不佳的checkpoint，只把最有希望的策略留给真实硬件测试。 这里的关键，并不是要求仿真与现实的成功率完全一致，而是两边能够得出相同的判断： 哪些策略更好、它们在哪里成功或失败，以及训练中的提升能否真正迁移到硬件。 在ALOHA双臂方块交接任务中，团队测试了GR00T N1.6和π₀.₅两种策略架构，以及不同训练配置、ID和OOD场景。每个checkpoint分别进行了2000次仿真试验和100次真机试验。 结