机器人看人类视频，究竟能学到哪一步？

文 | 具身志，作者 | 越十三， 编辑 | 仲庆元 10月10日，星动纪元开放了VPP2的两套视频模型权重。 VPP2把机器人学习一项操作的过程分成三段：先预测任务接下来会怎样发展，再把较长的过程压缩成视觉规划，最后学习机器人动作。这次开放的是前两段。 把时间往前推两个月，类似围绕人类视频的研究和投入已经接连出现。 8月，Dyna Robotics公布了不同规模人类视频预训练对真实机器人任务的影响；Figure公开了大规模第一视角视频采集系统。9月，Skild AI尝试用一段人类视频向机器人说明新任务，Dyna又在处理同一种经验怎样跨越不同的机器人身体。 几家公司选择了不同的技术入口，却把人类视频放进了同一条训练链：扩大预训练规模，提示机器人要做什么，预测操作过程，再把视觉经验接到动作上。 这些动作共同指向一项行业变化。数量更大的人类视频开始承担任务理解和世界变化的学习，稀缺的机器人数据更集中地解决身体控制。 如果这种分工能够成立，机器人学习新动作的规模，就不必完全取决于为每一副身体、每一项任务重新采集示范。 这种分工能不能换来机器人在真实任务中更好的表现，成为下一步要回答的问题。 一百万小时之后，钥匙转动了 Dyna-2用一项转钥匙实验做了规模对照。 研究者准备了四组模型，让它们接受相同的机器人任务训练。此前，四组模型分别用1,000小时、1万小时、10万小时和100万小时的人类第一视角视频做过预训练。 转动锁盒上的钥匙时，前三组都失败了。100万小时这一组测试10次，成功9次。 四组模型后续使用的机器人数据条件相同，每项任务不超过10小时。这使研究者能够比较，在相同的机器人训练之后，预先接触更多人的操作经验，能给结果带来什么变化。 Dyna-2转钥匙是14项真机任务之一，实验中，随着人类视频预训练规模从1000小时增加至100万小时，机器人在相同后训练条件下的表现发生变化。图片来源：Dyna Robotics 开锁是14项真机任务中的一项，它不能划出一条适用于所有任务的“100万小时门槛”，却验证了实验的一个假设：当后续机器人训练相同时，人类视频预训练的规模会改变结果。 真实机器人的示范数据很难像互联网文字那样快速扩大。一次示范需要机器人本体、操作者、场地和任务；此外，记录下来的动作又与这副机器人的关节、夹爪、摄像头和控制方式绑在一起，换一副身体，同一条动作指令很可能失效。 人类视频的优势在于，更容易跨任务收集。画面可以记录手向哪里移动、物体怎样变化、一项操作按照什么顺序推进。从中提取的手部轨迹，还能为动作学习提供监督。不过，要让特定机械臂完成同样的操作，则需要结合机器人示范或控制机制，处理它自己的关节运动与接触约束。 当人类视频成为训练资源，视频本身也开始被重新生产。 Dyna-2使用经过组织和处理的第一视角操作记录，并从中提取手部运动；Figure通过贡献者系统采集操作视频，筛选质量、平衡任务分布并添加文字标注；DreamZero的研究者则围绕特定任务录制短视频。 这些系统都在提高视频与动作的关联，让画面看清手和物体，保留接触过程，并从中提取稳定的运动轨迹。它们与随手下载的网络视频有很大差别。 Dyna-2给两类数据做了明确分工：人类视频负责积累关于手、物体和任务过程的经验，机器人示范负责教会模型怎样控制自己的身体。 那把钥匙给出了一个肯定答案，这种分工可以改变后续机器人训练在真机上的结果。 接下来的关键，是在“任务怎样发生”与“这副机器人怎样动”之间搭桥。 人类视频，能教机器人什么？ 近期研究并不是在重复同一种方案。人类视频进入机器人系统后，至少承担三种不同的工作：学习动作会带来什么结果，说明当前任务，以及为动作训练提供经验。 1、学会动作会怎样改变世界 Dyna-2先从人类视频里提取三维手部运动信息。手腕的位姿提供运动轨迹，拇指与食指之间的开合提供抓握信号。模型一边学习预测动作，一边预测后面的画面。 手接下来往哪里移动，是动作。手移动之后，杯子、抽屉或钥匙怎样变化，是动作造成的结果。 在动作标注数据量相同的条件下，同时学习动作和未来画面的模型，在39项机器人任务的离线预测中全部优于只学习动作的模型。研究者随后固定动作标注数据，只增加用于预测未来画面的无标签视频，模型表现继续改善。 这组离线实验给出的结论很直接：即使视频没有机器人关节命令，学习世界在动作之后怎样变化，也能提高模型对动作的预测。Dyna-2执行真机任务时，不需要先生成一段未来视频。 英伟达的DreamZero让未来画面预测直接参与行动。研究者围绕9项此前未见的任务，补充了总共12分钟、没有动作标签的人类第一视角视频。追加训练后，机器人的平均任务进度从38.3%提高到54.3%。 DreamZero研究总览图展示的人类第一视角与双机械臂操作示例。图片来源：DreamZero项目研究总览图 这里衡量的是任务进度。DreamZero此前已经用机器人数据学习画面与动作之间的联系，追加的12分钟人类视频与原有机器人数据一起参与训练。 2、让视频告诉机器人要做什么 清华大学与星动纪元的一项研究，让视频直接告诉机器人现在要完成什么任务。 模型观看人完成任务的视频，再结合机器人面对相同场景的初始画面，生成机器人完成同一任务的过程，并把这种表示接入动作策略。 这种能力建立在两阶段训练之上。论文2026年的修订版显示，模型第一阶段使用超过25万段人类、机器人夹爪和灵巧手示范视频，第二阶段使用约7,000段人类与灵巧手视频，其中包括部分配对示范。实验最终部署在xArm7机械臂与XHand灵巧手上。 新视频负责说明任务、对象和操作过程。此前结合人类与机器人示范完成的训练，以及后续动作策略学习，负责把任务做出来。 3、把视频经验接到机器人动作上 视频可以记录操作过程，机器人关节的控制信号来自机器人数据。τ0-WM和VPP2分别从数据与模型管线入手，连接这两部分。 智元团队参与的τ0-WM使用约27,300小时异构数据，其中3,000小时是人类第一视角视频，其余主要来自真实机器人遥操作和手持式交互设备。 τ0-WM研究中的机器人操作任务，包括工具箱整理、书包收纳、水管连接和羽毛球收纳。 它让不同数据提供不同监督：人类视频监督未来画面，机器人数据同时监督未来画面和可执行动作。关节控制因此由机器人数据提供。 VPP2则把任务过程交给视频模型，把具体控制留给后续动作学习。它要解决的是视频预测与机器人动作怎样交接。 三种工作处在同一条训练链上：人类视频扩大任务经验，机器人数据解决身体控制，动作模型和控制器完成最后的连接。 这也解释了不同论文为什么使用成功率、任务进度和离线预测等不同指标。它们测量的是训练链上的不同位置。 真正的检验从视频开始影响机器人动作时才开始。 视频里的动作，为什么未必做得出来？ DreamZero让未来画面预测参与行动，也留下了一次直接的失败。 机器人需要把面包放进烤箱。模型生成的未来画面里，它先拿起面包，却漏掉了打开烤箱门。实际执行沿着这个顺序发展，机器人拿着面包来到烤箱前，任务卡住了。 DreamZero烤箱任务中的模型预测（左）与真实机器人执行（右），模型预测遗漏了先打开烤箱门的步骤，实际执行也未能完成任务。图片来源：