T-RO综述重构基础模型时代机器人操作知识版图

过去几年，机器人操作领域几乎被一批新概念重新 “刷屏”。 LLM Planner、VLA、Diffusion Policy、Flow Matching、Latent Action、World Model、Imitation Learning、Reinforcement Learning…… 越来越多方法被用来描述机器人如何理解任务、感知世界并最终产生动作。 但一个容易被忽略的问题是： 这些概念其实并不处在同一个坐标轴上。 VLA 更多涉及视觉、语言等多模态信息如何进入动作模型；Diffusion Policy 关注动作如何被生成；Imitation Learning 描述模型如何通过示范数据学习；而 LLM Planner 则通常工作在更高层的任务规划阶段。 如果把这些方法简单放在一起比较，就很容易把 “系统层级”“模型结构”“动作生成方式” 和 “学习策略” 混为一谈。 这也是 Foundation Model 时代机器人操作研究正在面临的一个新问题：模型越来越多，但我们反而需要重新回答，这些模型究竟位于机器人系统的什么位置，它们各自在解决什么问题。 近日，论文《Embodied Robot Manipulation in the Era of Foundation Models: Planning and Learning Perspectives》被 IEEE Transactions on Robotics（T-RO）接收。该工作尝试重新建立机器人操作研究的分析坐标系，并以 High-Level Planning 和 Low-Level Action Modeling 为两条主线，系统梳理 Foundation Model 时代机器人操作的发展。 该综述由西安交通大学、香港科技大学（广州）、中国科学院、西湖大学、浙江大学、悉尼大学、北京智源人工智能研究院、北京大学等机构的研究者联合完成。论文第一作者包括西安交通大学白双豪、香港科技大学（广州）宋文轩，通讯作者包括香港科技大学（广州）李昊昂、北京大学仉尚航以及西安交通大学陈霸东等。 论文标题：Embodied Robot Manipulation in the Era of Foundation Models: Planning and Learning Perspectives 论文链接：https://arxiv.org/abs/2512.22983 项目仓库：https://github.com/BaiShuanghao/Awesome-Robotics-Manipulation 1. 一张图重新理解机器人操作的系统边界 今天的大模型很容易给人一种印象：机器人最终也许会变成一个巨大的端到端网络，输入图像和语言，输出动作。 但从机器人系统本身来看，“理解任务” 和 “让电机真正动起来” 之间仍然存在多个不同层次的问题。 论文将这一过程抽象为： High-Level Planning → Low-Level Action Modeling → Actuation-Level Control 这三个层级分别回答三个不同的问题。 High-Level Planning ：机器人应该做什么？这一层负责形成任务计划、程序、几何约束、Affordance Prior 或 3D Representation 等结构化规划信息。 Low-Level Action Modeling ：机器人具体应该怎么动？这一层将环境观测、任务条件以及中间表示进一步转化为可执行的动作或轨迹。 Actuation-Level Control ：这些动作如何被稳定执行？最终，动作需要进一步落实为位置、速度、力矩、阻抗等真实机器人控制信号。 真正值得注意的并不是这三个名字，而是它们提供了一套重新理解今天机器人研究的坐标系。 例如： 常见概念 它主要回答的问题 LLM / MLLM Planner 如何形成高层任务计划和结构化指导？ VLA 如何利用视觉、语言等多模态信息建模机器人动作？ Latent Action 感知与动作之间能否学习更加紧凑的表示？ Diffusion / Flow Matching 动作或轨迹应该如何生成？ Imitation / Reinforcement Learning 模型通过什么监督或反馈信号学习？ 因此，VLA、Diffusion Policy、Imitation Learning 并不是三个平行的 “机器人路线”。 它们实际上在回答不同的问题。 这也是为什么，仅仅按照某个热门模型家族来整理机器人操作研究已经越来越困难。 2.Foundation Model 真正改变了规划中的什么？ Foundation Model 对机器人规划最直接的影响，并不是让 LLM 直接输出关节控制量，而是让机器人第一次拥有了更强的语义理解、开放世界知识和多模态推理能力。 问题随之变成： 如何把这些能力传递给真实机器人？ 论文将这一过程理解为生成不同形式的 planning artifacts。 这些 planning artifacts 可以是： Planning Artifact Foundation Model 提供什么 下游如何使用 Task Plan 任务分解、技能排序、子目标 技能调用与进一步规划 Program 条件、循环和任务逻辑 调用感知与控制接口 Geometric Constraint 位姿、关键点和空间关系 运动规划与轨迹优化 Affordance Prior 可交互区域与功能关系 抓取、接触与规划 3D Representation 空间对应、抓取候选、优化目标 规划与动作生成 其中一个非常典型的矛盾是： “语言上合理” 并不等于 “物理上可行”。 SayCan、Inner Monologue 等工作展示了 LLM 在任务分解和长时序规划上的能力，但机器人最终生活在连续的物理空间中。一个语言模型可以正确地说 “把杯子放入柜子”，却未必知道机械臂是否能够到达、杯子应该以什么姿态进入、过程中是否发生碰撞。 于是，另一批工作开始寻找语义推理和物理执行之间更加可靠的接口。 VoxPoser 将语言理解转化为空间 value map，ReKep 将操作任务表示为关键点关系约束，GeoManip 则进一步把几何约束作为语义推理与运动生成之间的接口。 Foundation Model 在这里并不负责完整轨迹，而是回答： 什么样的空间关系应该被满足？ 最终的轨迹仍然可以交给经典运动规划器和优化器完成。 另一个变化来自 Affordance 和 3D Representation。 传统视觉感知更多关心 “这是什么物体”，而机器人真正需要进一步理解的是： “这个物体可以如何被操作？” 抓杯子应该抓哪里？门的哪个部分能够被旋转？哪些区域能够接触？哪些空间关系需要保持？ Affordance、Gaussian Splatting、Neural Descriptor Field 和 3D Feature Field 等研究，本质上都在尝试把视觉感知进一步变成 action-relevant representation。 所以，从这个角度看，Founda