Real2Sim2Real走向人形机器人：仿真训练还缺哪两块拼图？

论文链接： https://arxiv.org/abs/2610.35075 项目主页： https://young-bit.github.io/zero-hlm/ 代码地址： https://github.com/BIGAI-General-Vision-Lab/Zero-HLM 去年，人形机器人还在凭跳舞、奔跑吸引目光。如今，人们开始期待它们走进工厂和家庭，承担具体工作。这要求机器人不仅会运动，还能边走边操作，让双手、双腿与身体协同完成任务。 然而，训练具备泛化能力的全身移动操作模型，往往需要大量真机示范。起点、物体位置或任务配置发生变化，还可能需要追加采集，带来持续的人力与设备投入。 教人形机器人干活，是否一定需要采集如此多的真机示范？能否让它在仿真中积累经验，再到现实中完成任务？ Real2Sim2Real 为此提供了一条路径：将真实场景重建为仿真环境，在其中生成示范、训练策略，再将技能迁移回真实机器人。 但要让这条路径支撑人形机器人的全身操作，仍需跨过两道门槛。 第一道门槛，是把真实场景变成可用的训练环境。 除了外观，还要对齐尺寸与位置、配置碰撞与关节。人形机器人会走动、下蹲，因此场景还必须支持变化的视角与接触关系，增加了建模和调试的难度。 第二道门槛，是在环境中高效生成可执行的全身示范。 人形全身控制需要兼顾平衡、接触与动作跟踪，导致规划出的动作未必能准确执行，而站位或手部轨迹的一点偏差，就可能让抓取落空，使数据生成效率十分低下。 问题由此变得具体：如何从真实场景构建可靠的物理交互环境，并生成可执行的全身操作示范，让人形机器人仅靠仿真任务训练，就能在现实中完成任务、适应变化？ 近期， 北京通用人工智能研究院联合北京理工大学、清华大学、德塔智能推出 Zero-HLM 。从手机采集的场景出发，系统以高斯重建为参照，引导 GPT-Astra 对齐场景几何、配置碰撞与关节 ，构建兼顾真实外观与物理交互的训练环境。 在构建的仿真环境中，Zero-HLM 以源示范为起点生成全身任务动作，再根据全身控制器的执行反馈， 协同调整动作与场景，由此修正实际的执行偏差 ， 将少量源示范扩展为不同配置下经过执行验证的成功轨迹。 这套方法成功将 45 条仿真源示范扩展为 4,800 条可执行数据。 仅用仿真数据进行任务训练，策略即可零样本迁移至宇树 G1 并完成三类长程全身操作任务。在五种泛化设置下， 汇总成功率达到 69%，高于真机示范训练基线的 23% 。 团队还开源了 Zero-HLM-Bench ，包含三个长程任务、九个技能阶段，为不同策略提供统一的评测接口。 Zero-HLM 从仿真到真实世界表现概览。 01 / 在仿真中教机器人干活，面临哪些挑战？ 教机器人抓起桌上的物体，已经不容易。让它先走到桌边、蹲下捡东西、站起来搬运，甚至用脚与物体交互，问题又复杂了一层。 首先， 机器人看到的世界一直在变。 走动、下蹲都会改变头部相机的位置与视角。训练场景既要从不同角度看起来接近现实，也要支持抓取、放置和关门等物理交互。 其次， 规划出来的动作，不一定能执行成功。 全身控制器要兼顾动作跟踪、身体平衡和接触约束。走到目标附近时，一点位置或朝向偏差，就可能让后续抓取落空。 因此，仿真训练需要同时解决两个问题： 场景既要看起来真实，也要能发生可靠的物理交互 ； 生成的动作还必须经过执行成功验证。 图 1｜Zero-HLM 整体框架：场景重建、示范生成、执行验证与真机部署。来源：论文 Figure 2。 02 / 手机拍下的场景，怎样变成训练环境？ Zero-HLM 先用手机采集的多视角画面进行高斯重建，为真实房间建立一个能从不同视角观看的数字版本。 但「看起来像」只是第一步。机器人要在里面干活，还需要可碰撞的几何结构，以及柜门等物体的运动关节与物理属性。 接着，GPT-Astra 以重建结果为参照，迭代调整家具与物体的形状、位置，再配置碰撞、关节等物理信息。视觉场景与物理场景由此对齐。机器人看到的桌子，必须与它真正接触到的桌面重合。 从手机采集到可交互仿真场景：以高斯重建为视觉参照，逐步构建并校验物理场景。 03 / 动作执行偏了，数据生成也要跟着调整 场景搭好后，研究团队先在仿真中遥操作机器人，每个任务收集 15 条成功示范，三个任务共 45 条。以源示范为起点，Zero-HLM 会根据新的起点、物体与目标位置，调整交互动作，重新规划移动过程，由此生成新的示范数据。 重要的是，生成的动作还要交给与部署时一致的全身控制器，在仿真中实际执行。是否保持平衡、有没有不合理的碰撞、任务是否完成，都要检查。 如果执行出现偏差，Zero-HLM 会利用执行反馈，协同调整仿真中的场景配置与参考动作。 例如，机器人站定的位置偏了，就调整相关物体的位置，恢复需要的相对关系；手腕高度不合适，就补偿参考动作。 这些调整发生在数据生成阶段，之后仍需重新执行、验证。只有执行成功的轨迹，才会进入训练集。 从 源示 范到新轨迹：动作合成、物理执行验证，以及基于执行反馈的场景与动作调整。 最后，系统根据实际执行轨迹，生成第一视角画面，并与动作配对。背景用高斯渲染，机器人与交互物体结合仿真渲染，让图像同时反映真实外观和执行中的变化。 由此， 45 条源示范扩展成了 4,800 条成功示范 。整个扩展与验证过程自动进行，无需额外人工干预，也无需为新配置重新采集示范。 04 / 只用仿真任务数据训练，上真机表现如何？ 研究团队用生成的数据训练预训练模型 GR00T N1.7，再通过 SONIC 全身控制器部署到 G1。模型根据第一视角图像、机器人状态和任务指令预测动作，控制器负责将其转化为身体运动。 真机实验包含三类任务：走到桌前，将香蕉放进篮子；蹲下拾起帽子，将其移动到柜子上；双手搬运果篮、用脚关门，再将果篮放到凳子上。 图 2｜三类真机任务及其基础、扩展配置。来源：论文 Figure 9。 评测分为基础配置与扩展配置。前者对应真实示范的采集范围；后者改变机器人起点、抓取与放置位置，以及物体—目标组合，考察策略能否适应这些变化。这些配置变化通过仿真数据扩展纳入训练，并在真实机器人上验证模型的适应能力。 4,800 条数据包括：基础配置 2,400 条（三个任务各 800 条），Task A/B 任务的扩展配置共 1,600 条，以及 Task A 下物体—目标组合变化的 800 条。 除真实数据基线外，团队还设置了 GPT-6 Astra 数据生成基线：让大模型生成、调试仿真数据采集程序，再用得到的示范训练相同的策略模型。 图 3｜真实 G1 上的任务成功率。 Real/Sim/Astra 每任务分别使用 100/800/100 条示范；Astra 仅有任务 A、B 数据。 右图按官网四类设置汇总，Tabletop 合并抓取与放置位置测试。来源：论文 Tables 8–9。 基础配置下，同为每任务 100 条示范，仿真数据与真实数据训练的平均成功率分别为 43.3% 和 46.7%，表现接近。 当仿真示范增至每任务 800 条， 平均成功率达到 66.7% ，比 100 条真实示范的基线 高出 20 个百分点 。三项任务分别达到 60%、7