国内最年轻AI教授创业：要让世界模型走向全身全模态

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 国内最年轻AI教授创业：要让世界模型走向全身全模态 思邈 2026-10-14 12:51:32 来源： 量子位 允中 发自 凹非寺 量子位 | 公众号QbitAI 数据越采越多，机器人就能越来越会干活吗？ 今年，从EgoScale使用的两万多小时人类操作数据，到Dyna-2的百万小时预训练，机器人正在扩大从人类行为中学习的规模。 这两项研究采用了不同的模型训练路线，但都在探索一件事： 人类操作数据能否突破机器人本体采集的规模限制，为机器人学习更多任务提供基础 。 进一步的问题随之而来：当机器人需要迈步、弯腰、协调双手完成任务时，每小时数据里，究竟留下了多少身体与环境交互的信息？ 拿起一个包裹，人需要先走到合适的位置，弯腰、伸手、抓取，再调整身体姿态将包裹搬起来。沿着床边移动、拉平被子，脚步、手臂动作和接触力度也需要持续协调。 在以视觉为主的Ego数据中，我们能看到人完成了什么，却不一定能完整记录这些动作背后的身体状态。 如果机器人未来需要学习全身移动灵巧操作，仅仅知道双手如何操作，可能还不够。 10月14日，破晓智能联合天珑移动，发布 全身全模态数据采集系统SeePhys Hub ，尝试给Ego补上这些信息。 整套设备由一个四目头环、两个腕部手环、三个腰腿部动作追踪器和一副触觉手套组成，通过视觉与运动信号融合恢复全身姿态，并根据任务需求采集手部接触压力。 它希望在保留Ego轻便、易于规模化采集优势的同时，把视野之外的身体运动和触觉信息重新带回来。 对于破晓智能而言，这不是简单增加几种传感器，而是在高精度但采集成本较高的动捕、真机数据，与轻量但信息相对有限的Ego数据之间，探索另一种采集方式。 把身体动作和“手感”一起记下来 第一视角采集数据，也就是Ego数据，已经成为具身数据采集的重要来源。 Ego很有吸引力，人戴上设备，在日常场景中完成操作，相机跟着人走，采集不必始终围绕机器人本体展开。 但对需要移动和全身协作的任务来说，只记录眼前的画面，会遗漏一部分关键状态。 例如，人抬手去够高处的物品，肩膀、手臂和躯干需要一起调整。第一视角相机能够拍到双手，却不一定看得到手肘和腿部的位置。遇到身体自身遮挡、物体遮挡或视角盲区时，全身姿态的估计就更困难。 尽管这些运动可以通过视频估计，但遇到身体自身遮挡、物体遮挡或视角盲区时，估计的可靠性就成了一大问题。 SeePhys Hub的解决办法，是在人体关键位置增加少量追踪节点。 SeePhys Hub采用稀疏节点方案，在腰部和双小腿布置三个动作追踪器，结合头部视觉与双腕信息，通过算法恢复全身姿态。 IMU提供运动相关信号，UWB提供节点间的测距信息，再与视觉结合，估计全身姿态。 视觉覆盖同样做了扩展。四目头环提供360°环视，腕部相机补充近距离操作细节。可选配的触觉手套则记录双手与物体接触时的压力变化。视觉、身体运动与触觉信息同步记录，共同还原人类真实操作的过程。 研发团队举了一个例子：拿完冰箱里的瓶子，人顺势侧身关门，头部后方的相机仍能记录这个动作。 人在真实场景里的操作，经常就发生在这样的转身、移动和视角变化中。 再往下，是“手感”。 拿起一颗葡萄，触碰之后该继续用力，还是停下、轻轻调整？人会根据实际接触不断修正动作。触觉手套记录的接触压力，让视频里的动作多了一份对应的物理信号。 对模型来说，这些信息有机会帮助它理解身体运动、手部接触和环境变化之间的关系。 团队希望提高的，是每小时操作数据能留下多少有用信息。 多路信号还要对齐到同一时刻。 视频里手碰到物体的瞬间，需要和压力变化、运动状态对应，后续才能分析完整的交互过程。按产品资料，头环内相机、IMU和UWB的同步精度不超过0.5毫秒。这个不太显眼的工程环节，也影响着不同模态的数据能否有效衔接。 采集之后还有处理环节，SeePhys Hub配套的平台负责解析、清洗、动作切分和语义标注，并衔接场景重建、姿态估计和手部追踪。动作重定向则将人的动作映射到机器人本体，为后续训练与适配提供支持。 传感器不是越多越好，规模化采集需要新的工程取舍 新的数据模态当然能提供更多线索，但数据质量和数据可用性同样取决于它被怎么样采回来，问题又回到了工程化和产品上。 破晓给出的产品取舍，是在少量节点的基础上结合算法。 头环重量不超过220克，单个腕部手环不超过75克。团队把轻便、成本和真实场景中的活动自由度，放在了产品设计的重要位置。 这也解释了它在采集方案中的定位。 在 破晓的创始人兼CEO杨朔 描述的三层数据金字塔里，底层是量大的互联网视频，通过算法补充姿态和触觉信息；顶层是高精度动捕、真机操作等数据； SeePhys Hub瞄准的则是中间层，尝试兼顾规模化采集的潜力与更完整的交互记录。 △图片为AI生成 每一层承担不同任务。动捕数据可以用于监督姿态估计，真机数据帮助模型适配机器人，人类视频则提供更多场景和操作。可穿戴设备补充的，是走进真实环境、跟着人持续记录的能力。 触觉手套采用可选设计，也是同样的工程考虑。 据杨朔透露，团队接触过一些数据采集运营方，“他们第一个给我们提的要求，就是不要让我们的人戴手套”。 因为如果遇到洗碗这样涉及防水的特定场景，精细操作会受穿戴影响，传感器本身也可能出现噪声。团队曾在测试中遇到，手套抓过几次水杯后，空手伸开仍显示局部压力的情况。 这类噪声进入数据，会增加后续处理和训练的难度。 穿戴设备如果影响人的操作，也会影响记录的价值。 因此，SeePhys Hub的手环与手套可以分开使用。客户按任务选择配置，团队则继续研究如何从视觉中估计触觉，扩大可利用的数据来源。 要把设备真正铺开，供应链和质量保障也是一环。此次合作中，破晓侧重 产品设计与算法 ，天珑移动提供 成本控制、供应链及质量保障方面的经验 。 商业服务也围绕客户能力展开。按照团队规划，有算法能力的客户可以购买硬件、自行处理数据；需要完整方案的客户可以选择配套算法和本地部署；科研等场景还可以使用云端平台，获得处理后的数据。 数据采集运营商、具身模型团队、场景方和科研机构等，都是团队瞄准的使用者。 在杨朔看来，设备背后的积累还包括姿态估计算法，以及用于训练和验证算法的配对数据。让硬件、算法和数据处理一起工作，才能把穿在人身上的传感器变成可用于训练的操作记录。 一支做世界模型的团队，为什么先做数据采集？ “我们的最终目标一定是把模型做好。”杨朔在谈到破晓为什么研发数据采集设备时，给出了这个回答。 但这不免让人产生疑问，一家想做大脑的机器人公司，为什么选择“曲线救国”，选择从数据和设备入手？ 在杨朔看来，问题恰恰出在 模型需要什么数据 上。想把身体运动、手部接触和环境变化放在一起建模，就需要相应的操作记录。所需的数据难以低成本、规模化获得，于是团队便选择自己补上这个入口。 这样的选择，也与杨朔和团队此前的研究背景有关。 破晓智能（PHANES AI）创始人 杨朔 ，1998年出生，现任哈尔滨工业大学（深圳）计算机科