英伟达机器人开源撞上Fable 5.2发布！Jim Fan：不是寒冬是夏天

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 英伟达机器人开源撞上Fable 5.2发布！Jim Fan：不是寒冬是夏天 henry 2026-11-10 18:35:38 来源： 量子位 henry 发自 凹非寺 量子位 | 公众号 QbitAI 全体起立！时隔一年半，英伟达的新一代机器人基础模型终于来了！ 刚刚，在今年奥斯汀举行的CoRL大会上，英伟达GEAR领导朱玉可和Jim Fan，搬出了新一代世界动作模型—— GR00T 2 。 在时长1分半的官方demo中，GR00T 2可以拿剪刀裁标签、安装显卡、擦火柴、切香蕉做早餐、擦咖啡、收桌子、卖爆米花。 看下来，几乎是样样全能。从双手精细操作到全身移动，模型的任务范围几乎覆盖了机器人能力的各个方向。 而且，据朱玉可透露，GR00T2的模型、数据、仿真环境和数据采集硬件也将陆续开源。 目前，10万小时的人类数据已经率先开放。 咱一人来一句英伟达nb，不过分吧？ GR00T 2：扩展机器人基础模型的泛化、灵巧性与适应能力 作为一款世界动作模型，GR00T2能够同时预测未来画面与机器人动作。训练时，它把“世界将如何变化”和“机器人应当如何行动”放在一起学习。 发布会上，Jim Fan将其定位为一个反应够快、能够本地运行，同时既容易通过示范教会，也容易被推理模型引导的System 1（快系统）物理技能模型。 而放回GR00T 2内部，这就是朱玉可在推特上说的Xadapt跨本体适配。 简单来说，过去要教会一台机器人完成新任务，往往需要针对它的身体形态和控制方式，重新采集一批机器人示范数据。 X-Adapt则试图打破这层限制， 人类或手持设备示范过的技能，可以直接迁移给没有练过这项任务的机器人。 具体来看，英伟达展示了三条路径。 1、 从人类示范迁移到机器人。 研究人员佩戴动捕设备，示范如何放置、润湿滤纸。随后，双五指手Dexter就能完成同一任务。 整个过程中，没有采集该任务的机器人遥操作示范。仅凭人类示范，Dexter在20次试验中的成功率就达到65%。 2、从手持夹爪迁移到机械臂。 研究人员使用手持UMI夹爪，示范如何组装玩具自卸卡车。模型学习后，再将这项技能迁移到YAM机械臂上。 尽管UMI与YAM的夹爪形态不同，YAM仍能端到端完成最长约四分钟的组装任务，成功率达到60%。 同样的迁移路径，还被用于传送带分拣与抛掷、操作板拆解等任务。 3、从可穿戴外骨骼迁移到机器人灵巧手。 研究人员戴上DexUMI手部外骨骼，示范制作香蕉酸奶、舀取麦片。 模型利用这些数据微调后，机器人就能接手完成早餐任务，同样不需要额外采集这项任务的机器人遥操作示范。 总结来看，这三条路径指向同一个变化： 同一项技能，不必总是在每一种机器人上重新示范一遍。 当然，跨本体迁移并不意味着完全不需要机器人数据。 在人类动捕和UMI路径中，目标机器人仍会提供与具体任务无关的数据，让模型熟悉自身的身体结构、运动方式和控制空间。新任务的示范，则可以来自更容易采集的人类操作。 这也是GR00T2技术报告所强调的方向， 扩展机器人基础模型的泛化、灵巧性与适应能力。 迁移之外，GR00T 2也展示了通过少量机器人示范提高执行精度的能力。 在另一组Dexter-50评测中，模型的零样本平均成功率为40%；每项任务提供一次示范后，成功率提高到71%；提供五次示范后，则达到95%。 更关键的是，这五次示范合计不足三分钟。随后，只需要在单张RTX5090上进行约30分钟的LoRA微调，就能得到适配对应任务的模型。 在实际调用方面，英伟达也紧跟潮流，开放了WAM API。 通过API，推理模型可以负责拆解任务、检查执行进度，再将具体的物理技能交给GR00T2执行。 换句话说，GR00T2不仅可以自己完成技能，还能成为上层智能体调用的物理执行模块。 那么，问题来了：英伟达，你咋这么nb？ 40 万小时人类视频，怎么变成机器人的动手能力？ 咱一个一个来说。X-Adapt背后，首先是一座数据金字塔。GR00T2的预训练混合了三类数据： 402,730小时人类第一视角视频； 10,184小时手持UMI演示，覆盖2,897项任务； 23,500小时机器人遥操作数据。 不难看出，人类视频的规模远大于另外两类。这意味着，机器人的学习材料不再局限于人工遥操作采集的动作轨迹，而是进一步扩展到大量真实的人类活动： 人怎样拿起工具、移动物体、完成装配，以及一次动作之后，周围场景会发生怎样的变化。 UMI和可穿戴设备负责补充更直接的操作轨迹，机器人遥操作数据则帮助模型学习不同身体对应的运动与控制方式。 为了验证人类视频究竟能不能帮助机器人干活？团队还专门做了一组规模实验。 他们分别使用不含人类视频、1%、10%和全部人类视频的数据训练模型，再在72项Dexter任务上评估。 结果显示，随着人类视频数据增加，真实机器人上的平均任务进度从50%提高到70%。 这组实验给出了一个相当直接的答案： 大规模人类经验，不只是丰富模型的视觉知识，也能转化成机器人在真实任务中的执行进展。 为了吃下这些数据，在模型方面，GR00T2则接收语言指令、多视角相机画面和机器人状态，通过同一个扩散Transformer，联合预测未来视频与动作序列。 最后，围绕GR00T2，英伟达还在把数据采集、处理、训练、仿真验证和实际部署接成一套完整工具链。 采集端， 是UMI、DexUMI等设备。它们让研究人员直接记录人类操作，尤其是那些传统遥操作很难自然完成的灵巧动作。 数据端， 包括Human-1M与Flora。前者提供人类第一视角视频，首批10万小时子集已经公开；后者支持数据整理、描述性标注和自动评估。 仿真端， 则有SimFoundry。它可以从真实场景重建任务环境，用于策略测试、数据生成和技能开发。 执行端， 则由不同模型和组件分工完成。 ASPIRE将机器人模型与代码技能组织起来，支持任务执行和错误恢复。面向人形机器人，Turbo使用更轻量的网络和更紧凑的视频表示，降低预测开销。 在G1的机载Jetson Thor上，Turbo单次预测耗时为124毫秒；SONIC则运行在另一块Jetson Orin上，以50Hz进行全身控制。 前者生成运动计划，后者把计划转化为持续的身体动作，让机器人在伸手、弯腰和搬运时维持协调。 这样一来，开发者拿到GR00T2后，不仅能调用模型本身，还能沿着配套工具链采集自己的数据、适配自己的任务、在仿真中验证技能，最后将其部署到真实机器人上。 这也是英伟达此次发布更值得关注的地方： 它开放的已经不只是一款机器人模型，而是从数据采集、模型训练到技能调用和实际执行的一整套开发体系。 One more thing 在CoRL的现场演讲里，Jim Fan说： “Astra没有打碎我们的梦想，它打破的是我们的围墙。” “这不是寒冬，这是机器人的夏天。” 虽然话是这么说不错，但今天发布的Claude Fable 5.2，在RoboDojo上的表现也着