给Ego数据补上「全身」，世界模型的Scaling有了新的路径

机器之心发布 机器人数据采集过去几年，一直在努力做一件事： 摆脱机 器 人本体，让采集变得更轻、更便宜，也更容易扩大规模。 最早，机器人主要依靠遥操作学习。操作员控制机器人完成任务，系统记录关节状态、末端动作和环境信息。这种方式得到的数据可以直接用于机器人策略训练，但代价也很明显：每一小时数据背后，都需要真实的机器人、操作设备和相应的人员投入。 后来，UMI 等便携式示教方案开始摆脱本体约束，Ego 第一视角采集则将这件事进一步简化。人戴上相机，就可以走进家庭、办公室、商店，在真实环境中完成各种操作。 数据采集终于不必总是围着机器人转了。 但当设备越来越轻，另一个问题开始暴露：我们拍下了人如何完成任务，却未必完整记录了人完成任务时的身体运动和接触状态。 比如铺床。人需要走到床边、抓住被角、抬起双臂将被子展开，再沿着床边移动，一点点拉平褶皱。身体的位置决定双手能够触及哪里，抓握位置和力度则影响布料如何展开。 一段第一视角视频可以记录眼前发生的操作，但视野之外的躯干、腿部如何运动，双手与布料接触时的压力如何变化，却无法直接测量。对于要学习全身移动灵巧操作的机器人来说，这些恰恰是重要的训练信息。 这就把机器人数据采集推向了一个新的选择：继续用更轻的设备获取更多视频，还是重新补回那些在轻量化过程中被舍弃的交互信息？ 破晓智能选择了后者，但并不打算回到繁重的专业动捕。 10 月 14 日，破晓智能（PHANES AI）联合天珑移动发布全身全模态数据采集系统 SeePhys Hub，尝试在高精度但难规模化的遥操作、动捕数据，与轻量但信息相对有限的 Ego 数据之间，探索一种新的采集范式。 这套系统由一个四目头环、两个腕部手环、三个腰腿部动作追踪器和一副触觉手套组成，能够同步记录第一视角视觉（360° 环视覆盖）、手部全模态数据（手部位姿追踪、高密度触觉）与全身运动信息（位姿与受力）。 它想做的，可以简单理解为给 Ego 补上 “全身”：既保留人类在真实场景中自由操作的能力，又记录身体如何移动、双手如何接触物体，让数据更完整地描述一次真实交互。 对破晓而言，这不只是多做一套采集设备，而是对机器人数据规模化路径的一次重新选择。 一、Ego 解决了规模问题， 全身全模态想补上缺失的信息 具身智能究竟需要多少数据？行业里甚至出现过一亿小时 Ego 数据量级的估计。 Ego 路线能够迅速获得关注，原因并不复杂。它不再要求每一小时训练数据都由机器人本体产生，人类日常操作本身就可以成为学习素材。 但破晓认为，数据规模的增长未必能带来同等程度的学习收益，尤其当机器人从固定位置的双手操作，走向全身移动灵巧操作（loco-manipulation）时。以抓取为例，视觉能够记录手如何靠近物体、物体怎样移动，却很难直接判断接触时施加了多大的力。同样的手部轨迹，在不同接触条件下，可能产生完全不同的结果。 全身操作还增加了另一层复杂性：机器人必须知道身体站在哪里、什么时候移动、如何调整姿态，以及身体运动怎样与双手操作配合。 如果缺少这些状态，模型就只能从有限的视觉线索中推断。更多视频当然有价值，却未必能够解决输入信息不完整的问题。但回到专业动捕，同样不是一个容易规模化的答案。 破晓因此提出了一个数据金字塔的思路。 最底层是互联网公开数据和普通 Ego 视频，规模庞大、场景丰富，但缺少直接测量的全身姿态与接触信息；最顶层是真机遥操作、专业动捕等高精度数据，能够提供可靠的动作监督，但成本高，采集条件也更加受限。 SeePhys Hub 希望填补的是中间层：用成本接近 Ego 的采集方式，获得带有全身姿态、手部运动与触觉信息的人类操作数据。 杨朔将其称为 “一种中间态”。在他看来，中间层并不是要取代动捕或真机数据。恰恰相反，团队的全身姿态估计模型仍然需要高精度动捕数据提供监督。三类数据各有用途，应该形成互补关系。 对于模型预训练而言，未必每一个人体关节都需要毫米级的定位结果。更现实的目标，是在满足模型训练需求的精度下，让数据采集能够进入足够多的真实场景。 破晓还希望通过算法，把不同层级的数据连接起来：利用高精度动捕数据训练姿态估计模型，再尝试为海量 Ego 视频补充姿态、触觉等信息。 中间层设备采集的真实数据，则可以为这类模型提供更多监督和验证依据。这套思路最终指向一个问题： 能否通过更完整的交互信息，提高每一小时数据的学习价值？ 破晓希望探索百万小时量级的全模态数据能否支撑预期的泛化能力。不过，这仍然是团队正在验证的方向。目前尚没有公开的模型训练结果，可以证明百万小时全模态数据能够替代一亿小时 Ego 数据。 二、硬件做减法，把更多工作交给算法 既然要采全身，为什么不直接给人体装上更多传感器？破晓在设计 SeePhys Hub 时，实际上把问题倒了过来： 为了让数据真正实现规模化，采集员身上最多需要保留多少设备？ 破晓希望这套设备穿戴尽可能无感、成本足够低、能够在真实环境中实现规模化的自由采集。 这与传统动捕追求最高精度的出发点不同。SeePhys Hub 没有选择全节点惯性动捕， 而是在腰部后侧和双小腿布置三个动作追踪器，再结合双腕设备与头部视觉，通过模型恢复完整的人体姿态。 团队比较过纯视觉姿态估计和全节点惯性动捕。前者足够轻便，但看不见的身体部位只能靠模型猜测；后者能提供更多直接观测，却增加了设备数量、穿戴难度和成本。 SeePhys Hub 最终选择融合视觉、IMU 与 UWB。 IMU 通过加速度、角速度等信息记录运动变化，UWB 提供节点间测距等额外约束，两者与视觉结合，可以缓解纯视觉的遮挡问题，以及单纯依赖惯性信息时的累积漂移。 根据团队提供的数据，其全身姿态估计模型， 身体节点定位误差中位数低至1.5厘米。 头部视觉同样围绕采集完整性设计。SeePhys Hub 搭载四颗广角鱼眼相机， 水平视场角 193°，垂直视场角 128°。 其中，前方相机记录主要操作画面，其余相机扩大场景覆盖，减少动作离开视野的情况。 例如，采集员从冰箱取出物品后，侧身将冰箱门关上，普通前向第一视角相机未必能完整记录这一过程，而多方向相机可以保留更多场景信息。 头环还集成了 500Hz 高频 IMU，用于补充快速转头时相邻视觉帧之间的运动变化。在多模态数据同步方面，UWB 还承担设备间的时钟同步功能。团队介绍，其底层同步方案具备 10 纳秒量级的理论精度；头环内部相机、IMU 与 UWB 同步误差则不超过 0.5 毫秒。 这些技术细节最后都要回到使用体验。 SeePhys Hub 头环重量不超过 220 克，单个腕部手环不超过 75 克，两类设备均支持连续 24 小时不间断采集。采集员穿戴后，通过约一分钟的 T-pose、A-pose 标定流程，即可开始正式采集。 触觉手套的设计则更有意思。在接触数据采集运营方时，破晓得到过一个非常直接的需求：“不要让我们的人戴手套。” 原因很现实。采集员可能需要洗碗、整理物品，或者完成涉及频繁摩擦的操作。触觉手套既可能影响手部活动，也存在防水、磨损和数据稳定性问题。 因此，SeePhys Hub 将触觉手套和腕部手环做成可分离结构。需要真实触觉监督时，可以佩戴手套；不适合戴手套的场景，则可以只使用腕部设备