后GPT-6时代，具身数据怎么做？Ropedia发布Xperience 2，给出下一代数据基石金标准

机器之心发布 11 月 9 日，Anthropic 发布 Claude Fable 5.2。据报道，它在机器人控制基准 RoboDojo 上拿到 64.9% 的成绩，是上一代 Fable 5.1（27.6%）的两倍多。而就在两个月前，GPT-6 Astra 刚以 22.48% 的平均成功率登顶这一榜单，超过全部 40 个公开策略。 通用大模型的具身能力正以惊人的速度提升，但榜单上的分数，还不等于真实世界里的能力。在一项联合研究 [1] 中，GPT-6 Astra 被部署到 8 种真机配置上：插插头 11 次尝试全部失败，长程导航找物 23 次尝试中仅成功 9 次。研究者的判断是，它已具备初步的具身能力，但距离实用仍有差距。 如何让通用大模型更好地控制机器人，在真实环境中连续完成更长、更复杂的任务？模型既需要可供学习的行为示范，也需要能执行任务、积累经验的环境。大模型有 Scaling Law，物理智能的 Scaling Law 又在哪里？要回答这个问题，首先得弄清楚：该扩展怎样的环境与行为数据，又该如何持续生产和使用？ 近日，Physical AI 初创公司 Ropedia 正式发布 Xperience 2，给出了自己的答案： Ropedia Xperience 2 是一套面向 Physical AI 的真实环境与行为数据集，它将真实场景扫描与人的第一视角活动记录相结合，在同一度量坐标系中对齐场景几何、录像、轨迹和身体姿态。 基于这些数据，Ropedia 将人的动作转换为机器人轨迹，并将扫描场景转换为可交互的仿真环境。 Ropedia 希望以这种真实采集、精准对齐、覆盖多样且可复用的环境 - 行为一体化数据，建立下一代具身数据的 “金标准”，为后 GPT-6 时代物理智能在环境与行为数据上的规模定律奠定数据基础。 技术报告：Ropedia Xperience 2: A Gold Standard for Scaling Physical AI Environments and Behaviors 报告链接：https://arxiv.org/abs/2611.17060 项目主页： https://ropedia.com/xperience/2-research 数据集： https://huggingface.co/datasets/ropedia-ai/Ropedia-Xperience-2 1,812 个场景组成 Xperience 的 X。 物理智能的「金标准」数据：环境与行为，缺一不可 扫描、记录与对齐：让每个行为有真实环境参照 Xperience 2 为每段任务录像保留对应的场景重建。视频中的相机轨迹、手部和全身动作被放进同一个三维坐标系，与房间的几何和布局对齐。使用者可以回看人怎样在这个房间里行动，也可以继续利用这些记录构建机器人任务。 以把杯子放进橱柜为例，视频能记录取杯、开门、放入和关门的过程，供模型学习动作和顺序。机器人真正做这件事时，还需要知道杯子在哪里、柜门朝哪边开、自己的手臂能否够到，以及怎样判断任务完成。这些信息需要结合场景的几何和物体状态来确定。光有录像，机器人还没有一个能试做这项任务的环境。 而只有仿真场景，同样不够。仿真场景让机器人有了练习的地方，人的示范则能提供起步的方法。缺少示范时，抓杯子的位置、开柜门的方向和放杯子的动作都可能需要反复探索，还要设计相应的奖励。任务步骤越多，这样训练的成本往往越高。 现有数据集通常侧重其中一类。ScanNet++、Realsee3D 和 DL3DV-10K 提供三维场景重建和相机位姿，没有对应的人类第一视角任务录像；EPIC Fields、Nymeria 和 HD-EPIC 记录了人的活动和相机位姿，但大多不提供场景网格。 Xperience 2 把场景和人的示范放在一起。两者对齐后，人的动作有了明确的空间参照，可以根据机器人的身体结构转换成运动轨迹，再放回同一场景中检查。原始录像由此可以继续用于机器人的动作研究。 场景完成交互配置后，还可以设定杯子的位置、柜门状态和机器人起点，让机器人在里面执行任务。没抓住杯子、把杯子放在柜子边缘，或者忘了关门，都能根据物体状态判定并记录。失败后重新加载场景，就能再试一次；换一组初始条件，还可以继续采集新的轨迹。 录像与场景对齐后的各层数据：网格、3DGS、第一视角视频、头部轨迹、双手和全身姿态，以及三个时间尺度的活动标注，位于同一个度量坐标系中。 这套采集延续了 Ropedia 在第一视角数据上的积累。此前的 Xperience-10M 包含约 1,000 万个真实世界交互片段、1 万小时第一视角视频与音频。Xperience 2 在这些行为记录之外增加了场景扫描与空间对齐，让每段活动都有对应的真实环境。同一次扫描可以供这个场景中的多段任务录像使用。 两步采集使用不同的设备。手持激光雷达扫描仪可以从不同角度扫描房间，补充人的视角不容易覆盖的区域。录制任务时，操作员戴上 Ropedia 研发的头戴式记录仪 HOMIE Headset 2，双手可以自由操作物体。HOMIE Headset 2 的四路全局快门鱼眼相机、惯性传感器和四声道音频一起记录活动，其中两路朝前的相机拍摄双手和正在操作的物体。整套采集不依赖固定动捕设施，可以进入住宅、餐厅、商店、办公室和户外。 先扫描场景，再逐项录制任务。左侧为两个步骤；右侧依次出现扫描仪的路线与相机位姿、场景重建，以及各段 HOMIE Headset 2 录像的头部轨迹。 操作员先从多个角度扫描房间，得到带真实尺度的场景网格、三维高斯重建（3DGS）以及对应的图像、相机位姿和稀疏点云。这些数据共用一个与重力对齐的坐标系。后续再为物体配置物理属性和可交互部件，场景就能用于仿真。 扫描结束后，操作员戴上 HOMIE Headset 2，逐项完成分配给这个场景的任务。每段录像从任务开始前录到完成后，保留一次完整的活动过程。 录好的视频随后经过自动化处理，得到相机运动轨迹、深度，以及估计的双手和全身姿态。视频、惯性测量和音频按时间对齐，动作则配上三层语言标注：整段在做什么、各个子任务何时发生，以及具体画面里物体和双手处于什么状态。 同一场景中不同时刻的估计全身姿态、轨迹和对应的第一视角画面；下方列出每段录像提供的各层数据。 接下来，把录像和扫描对齐。系统先找出录像画面在扫描场景中的位置，再把相机轨迹、双手和全身动作变换到场景坐标系中。配准后会检查留出的验证帧、重力方向和深度与网格是否吻合，并为每段录像标记 PASS、WEAK 或 FAIL，便于使用者筛选。 录像配准：录像先出现在它自己的坐标系中，再配准到场景坐标系；右上角的卡片列出三项检查，全部通过后标记为 PASS。 处理后的轨迹和姿态与原始画面一同保留，使用者可以回看视频，检查某段动作是否适合自己的训练任务。 从卧室到街头：把真实世界的多样性搬进数据 从卧室和厨房，到办公室、商店和街头，当前发布的 1,589 个场景覆盖 12 类真实空间。其中住宅内部场景有 1,389 个，占 87.4%；卧室和客厅合计 976 个，占 61.4%。整体采集共覆盖 596 处地点，其中 443 处为整户住宅。地点数