起猛了，机器人开上卡丁车了！

机器之心发布 今天，Symbiosis Robotics（共生知行）放出了一段新演示。 画面里，机器人先压低身体，把四肢挪进卡丁车狭窄的驾驶位。驶上赛道后，它根据眼前的弯道调整方向，右脚踩油门、左脚控制刹车。镜头来到终点，卡丁车随即甩尾，原地漂了一圈。 几段赛道画面中，机器人根据弯道调整方向；镜头来到终点，卡丁车随即甩尾漂了一圈。 你别说，这套动作还真有点「机器人车手」的样子。 不过，热闹不只在漂移。 这段视频真正想回答的是一个更基础的问题：机器人已经看懂了弯道，接下来，怎样让这份判断及时变成全身的关节动作？ 团队推出了 Direct Perception Control（DPC）。它取消了需要独立 Whole-Body Tracker 追踪的中间运动表示，让模型结合画面、任务和身体反馈，直接计算关节与手部目标。 为了训练这套系统，团队还整理了 15, 010 小时具身数据 。 机器人开卡丁车，难在哪里？ 先看上车。 卡丁车座舱低矮又狭窄，机器人要压低躯干，重新安排髋、膝和四肢的位置，同时还得给双手留出握住方向盘的空间。 开起来以后，事情更多。 机器人一边要根据赛道画面判断弯道，一边要连续协调手脚：双手调整方向，右脚控制油门，左脚控制刹车。车速和转向一变，身体受到的反馈也跟着变，下一步动作必须马上调整。 换句话说，难点不只是「会转方向盘」或「会踩油门」，而是让感知、决策和全身控制在连续运动中接得上。 这正好暴露了人形机器人系统里一个长期存在的问题： 看懂任务的模型，和真正控制身体的模型，中间还隔着多远？ 一层 Motion Interface，究竟限制了什么？ 常见的人形机器人控制方案，会把「知道要做什么」和「让身体做出来」分成两层。 Figure Helix 用一套系统处理低频语义推理，另一套系统负责高频控制。Gemini Robotics 2 也分别使用 embodied reasoning model 与 VLA 完成任务推理和全身动作执行。〔2–3〕这类分层设计已经十分成熟， DPC 进一步探索的是：能否让负责认知理解的模型与直接生成关节动作的 motion expert 在统一训练中联合优化，使任务理解与全身控制相互适配，共同提升。 分层架构先生成运动表示，Whole-Body Tracker 再计算关节动作。DPC 考察接口是否保留足够信息，也关注训练怎样连接以及低层控制器会做哪些动作。 Motion goal 说清了姿态，还缺少什么？ Motion goal 描述身体大概要做什么，真正执行时，Tracker 还要结合当前身体状态计算 Joint Target。上层模型即使更懂任务，也不会自动掌握 Tracker 在不同接触和平衡条件下学会的动作。决定身体怎样发力、怎样维持支撑的关键选择，仍然发生在 Motion Interface 之后。 潜空间里相近的运动意图，经过身体状态的条件映射后，可能对应差异明显的关节动作。 实机上连续执行，训练时能否一起调整？ 实机运行时，Latent Policy 和 System 0 会依次工作。训练时，前者学习生成运动表示，后者单独学习 tracking 与 stability。两套模型直到部署时才通过接口接起来，低层动作产生的误差和画面变化也就无法同时用来调整上层策略。 Latent Policy 与 Whole-Body Tracker 分别训练，部署时再通过 Motion Interface 串在一起。 当低层控制器被冻结，机器人的动作能力还能扩展吗？ 机器人最终能做出哪些动作，还取决于 System 0 见过哪些训练数据。低层先验如果主要学习行走，高层新增的移动操作任务仍要由这套先验执行。坐进卡丁车需要在狭小空间里重排全身姿态，驾驶又要求上肢和下肢持续配合，这些动作都在扩展原有的行走范围。 移动操作会进入行走数据较少覆盖的区域，低层控制器学过的动作范围也会影响最终执行。 这并非 DPC 独自面对的问题。ω-0、MotionWAM 和 Ψ₀ 都将视觉信息与身体状态用于动作生成，但仍采用分层控制：前两者先预测全身动作 latent ，再交由底层控制器执行；Ψ₀ 则将上下肢解耦，分别生成下肢运动指令和上肢关节命令。〔4–6〕相比之下，DPC 直接以 Joint Target 作为训练目标，在学习关节动作时始终参考任务信息和身体反馈。 DPC，怎样把画面直接变成关节动作？ 如果限制来自中间接口，DPC 的选择就不是继续扩充这层表示，而是绕过它。 按照官方说明，DPC 取消了需要独立 Whole-Body Tracker 追踪的中间运动表示。DPC 读取画面和任务语言，同时接收身体状态；此前的动作记录和执行反馈也会一并纳入计算，最终直接输出关节和手部目标。〔1〕 DPC 中的 “Direct” 指直接输出 Joint Target。电机仍由 PD 控制和硬件执行层驱动，关节限制等安全措施也完整保留。 DPC 内部保留 Perception Expert 与 Motion Expert，前者理解场景和任务，后者处理高频身体反馈。 Symbiotic Attention 让两边交换信息，并在同一个 action objective 下训练。这样一来，感知专家会留意那些可能改变动作的画面差异，运动专家计算关节目标时也能使用最新的任务信息。 相机画面无需频繁重复计算，身体状态却一直在变化。DPC 异步更新视觉结果，同时连续读取本体反馈。运动专家每次计算动作时，都能使用最新的画面信息和身体状态。 DPC 取消了等待 Tracker 追踪的运动参考，直接结合画面和身体反馈计算关节与手部目标。 直接输出关节动作打通了训练链路，但也要求策略正面处理实机执行中不断积累的偏移。 接口取消后，DPC 策略还要学会处理实机运行中的偏离，因此它先通过 Offline BC 完成初始化，再进入 DriftDistill 的第二阶段训练。Student 在 online rollout 中遇到自身容易偏离的状态，Frozen Teacher 为这些状态给出恢复动作；训练时，online rollout 与 offline demonstrations 会一起用于更新 Student。 DriftDistill 先用离线示范建立动作基础，再把 Student 实际遇到的偏离状态和 Teacher 给出的恢复动作加入训练。 经过反复 rollout，Student 会逐步学会自己在部署中遇到的状态和恢复路径。更新后的 Student 策略可以处理更多实机状态，也能在偏离发生后继续完成任务。 15,010小时数据，怎样装进同一个机器人身体？ 直接输出 Joint Target 也把数据问题推到了前台：不同来源的记录必须先被转换成同一种“关节语言”。人类视频与不同机器人数据采用各自的身体结构和控制方式，无法直接混合训练；DPC 因此将每类数据 转换 成 G1 可执行、时间对齐的 joint action ，再统一用于训练。〔1〕 更新后的数据集 共 1 5, 010 小时 ： 6,781 小时 Human Ego 数据； 4,024 小时 Armed Robot 数据； 3,66