首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

解锁具身智能的GPT时刻?浙大宇树开源500万条机器人预训练数据

2026-11-18 1 阅读 约10分钟阅读 机器之心
分享:
字号:
浙江大学与宇树科技具 身智能联 合实验室 等团队从海量互联网人类视频中构建并开源了预训练数据集 Movens-5M ,收录 500 万条经仿真执行验证的机器人动作,总时长超过 1 万小时 。 数据集覆盖行走、深蹲、拖地、拳击等 297 种细分动作,涵盖居家生活、健身训练、户外休闲等 16 类场景。 团队将文字指令、视频示范、语音和音乐与机器人动作配对,实现 多模态对齐 ,并提供分时段、分身体部位的动作说明。研究者可以用这些数据训练模型,让模型学习不同形式的输入分别对应怎样的动作。 基于这套数据训练的动作模型 Movens-Zero ,能根据上述四种输入生成机器人全身动作。团队在宇树 G1 上展示了真机执行效果,并通过 Scaling(规模扩展)实验检验:数据更多、动作生成模块更大,模型能否持续进步。 Movens-Zero 研究概览。图源:论文首页与图1。 人类擦门视频,怎样成为机器人训练数据? 一条能用于模型训练的数据,除了视频,还需要包含什么?可以先看一段清洁视频。 画面中,人物俯身擦拭门板中下部,随后逐渐起身,将手臂抬向高处。这条数据记录通过四路画面,展示了 原始视频、从视频中还原的人体三维动作、转换成适合 G1 的动作,以及模拟环境中的 G1 执行结果 。 清洁数据案例。四列依次为原始视频(Original Video)、人体动作(Recovered Motion)、G1参考动作(G1 Reference)、G1模拟执行(G1 Tracking)。 系统先从视频中估计人的三维动作,再按机器人的身体结构调整这些动作。随后,系统让模拟环境中的 G1 执行调整后的动作,检查机器人能否稳定完成。 数据记录还配有文字说明,描述不同时间段内各个身体部位的动作 。这段 7.25 秒的视频可分为三个阶段: 0–4 秒 :人物俯身,左手持绿色清洁布往返擦拭门板中下部,右臂弯曲,放在身体后侧。 4–6 秒 :人物逐渐直起上身,左臂随擦拭位置抬高。 6–7.25 秒 :双臂向上抬起,伸向门板较高的位置。 这些文字就像视频的分步说明,记录了人物什么时候弯腰、哪只手在擦拭、什么时候起身抬臂。每一步的说明都有对应的画面和机器人动作,帮助模型学习根据文字要求生成动作的能力。 数据中也有与物体交互的动作,哑铃训练和杠铃硬拉就是其中的例子。哑铃训练包含弯举和俯身;杠铃硬拉包含上身前倾、慢慢放低杠铃、再重新站直。这些画面展示了手臂、双腿与躯干如何配合运动。 物体 交互数据示例: 哑铃训练、杠铃硬拉的 人体动作与 G1 动画对照。杠铃 G1 画面为参考动作回放。 如何从海量视频中得到 500 万条机器人动作? 前面的清洁和物体交互案例,展示了单条数据如何把视频、文字说明与机器人动作联系起来。要把这样的样本扩展到 500 万条,团队需要一套能批量处理海量视频的自动化流水线:既要识别人的动作,也要将动作转换成机器人能够稳定执行的轨迹。 人物被遮挡、镜头晃动,都会干扰对动作的判断。人和机器人的身体比例不同,关节能活动的角度也不一样;机器人运动时还需要保持平衡。因此,系统要先按机器人的身体结构调整动作,再验证机器人能否稳定执行。 团队搭建了一套自动化数据处理流水线,包含 片段生成、质量筛选、语义标注、动作恢复、物理精修 五个阶段。 Movens-5M 数据处理流水线。图源:论文图2。 片段生成 (Clip Generation) :整套流水线先按镜头边界切分长视频,形成连续片段,并保留来源信息。 质量筛选(Quality Filtering) :系统检查画面质量、人物是否清楚可见,以及动作信息是否充足,筛除不合格的素材。 语义标注(Semantic Annotation) :系统为视频补充场景和动作说明,按时间段描述各个身体部位的变化,并整理片段对应的文字及可用的语音、音乐信息。 动作恢复(Motion Recovery) :系统从视频画面中估计人体的三维姿态,记录身体如何随时间运动。 物理精修(Physical Refinement) :系统检查并修复动作中的抖动、失稳等问题,再按 G1 的身体结构调整动作,最后在模拟环境中检验机器人能否稳定执行。 通过这套流水线,团队构建了包含 1500 万条人体动作 、 500 万条机器人动作 的数据集合,汇集超过 1 万小时行为数据。文字说明还记录了每段动作在不同时间如何变化,以及身体各部位如何运动。 这些配对数据让模型能够学习:面对一条文字或语音指令、一段音乐或视频示范,机器人应当做出怎样的动作。 基于这些数据,一个模型响应全模态输入 团队以这些配对数据训练 Movens-Zero,让同一个模型学习文字、语音、音乐和视频分别对应怎样的动作。训练后的模型能够根据四种输入生成机器人全身动作,并在宇树 G1 上展示了真机执行效果。 可以用文字告诉它做什么 。演示中,输入 “Dance some hip-hop”(跳一段嘻哈舞蹈)后,模型生成了相应动作,无须额外提供参考视频。 文本输入:Dance some hip-hop(跳一段嘻哈舞蹈) 也可以直接说出指令 。在演示中,机器人根据 “Salute with your left hand”(用左手敬礼)这一口头指令,完成相应动作。 语音输入:Salute with your left hand(用左手敬礼)。 音乐可以带动全身运动 。模型根据音乐的节奏和风格,生成步伐以及上身动作。 音乐驱动的动作演示。动图无声,带音轨视频见项目主页。 还可以直接用视频示范 。输入视频既可以是互联网片段,也可以来自现场拍摄。模型根据视频中的人物示范,生成适合机器人执行的动作。 视频输入的真机演示。左侧小窗为参考视频,右侧为宇树 G1。 Movens-Zero 先用理解模块分析文字、声音或视频,再由同一个 动作生成模块 结合输入信息和机器人当前状态,规划接下来的全身动作。论文将这个生成模块定义为 “动作专家”。机器人控制器随后向各个关节发送控制指令,让机器人执行生成的动作。 Movens-Zero 的理解、生成与执行架构。图源:论文图7。 现场交互时,人可能改变口头要求,也可能做出新的动作示范。模型需要据此更新机器人接下来的动作。 Movens-Zero 每次生成一小段动作,机器人先执行其中的前一部分。模型把尚未执行的末尾部分保留为下一段的开头,再结合最新输入和机器人状态生成后续动作,让前后片段连续衔接。通过这种方式,Movens-Zero 将理解、生成、执行接成一条实时闭环回路 。 现场视频输入:模型根据最新画面和机器人的身体状态,持续生成后续动作。 数据更多、动作专家更大,收益能否持续 前面的演示展示了模型能做什么,Scaling 实验进一步检验:增加训练数据、扩大动作专家,能否让生成动作更符合输入要求,让机器人执行得更好。团队分别考察了数据和动作专家规模的作用,并比较两者共同扩展的收益。 数据与模型的规模扩展|论文图9。上方六幅曲线展示动作生成学习误差、文本匹配、视频动作误差、音乐节拍对齐、语音匹配及运动跟踪表现随规模的变化;下方展示数据从10%增加到100%时,不同大小模块的提升幅度。↑越高越好,↓越低越好。可放大图片查看细节。 图中, 横轴越往右,
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱