MMLab@NTU提出原生具身模型NEO-VLA：从像素直出动作

让机械臂把网球稳稳放到易拉罐上，既要识别物体，也要判断网球是否对准罐顶，以及何时松开夹爪。这些看似简单的操作，往往依赖细微的视觉信息。问题在于， 动作模型能否充分利用这些信息？ 近日，来自 南洋理工大学 S-Lab 、 商汤研究院与 Ropedia 的研究团队 提出 NEO-VLA ，将原生视觉语言模型引入机器人动作学习。图像经过轻量卷积层转换后，与语言指令共同进入主干网络；负责生成动作的模块则直接读取主干不同深度的表征。整个视觉通路无需独立的预训练视觉编码器。 围绕这一设计，团队依次考察了 四个问题： 原生主干是否更适合动作学习？动作专家最依赖哪些层的信息？保留多模态理解能力对动作训练有何影响？模型在常规任务和场景变化下表现如何？研究者通过一系列对照实验，并结合仿真与真机测试，给出了回答。论文现已在 arXiv 公开。 论文题目：From Pixels to Actions - Towards Native Vision-Language-Action Policies Paper：https://huggingface.co/papers/2611.06918 WebPage：https://www.lmms-lab.com/posts/neo_vla/ Github：https://github.com/EvolvingLMMs-Lab/NEO/tree/main/VLAKit Model：https://huggingface.co/weepiess2383/NEO-VLA DataSet：https://huggingface.co/datasets/weepiess2383/NEO-VLA-Action-Pretrain 操作所需的视觉细节如何进入动作模型 目前，多数视觉语言动作（VLA）模型采用相似的处理流程：先由 CLIP、SigLIP、DINOv2 等预训练视觉编码器提取图像特征，再将这些特征交给语言主干和动作模块。动作决策通常从编码器的输出开始。 但抓取、对齐、插入等操作，需要利用物体边缘、局部几何、深度，以及夹爪与物体之间细微的状态变化。在视觉信息逐层抽象的过程中，部分与精细操作有关的线索可能变得不易利用。 已有研究发现，视觉模块对 VLA 的性能有显著影响，也对模型剪枝较为敏感；动作微调还可能损伤预训练的视觉表征。这些现象提示， 视觉与动作之间的接口本身值得重新审视。 NEO-VLA 由此提出一个问题： 如果动作模块能够直接访问视觉计算过程中形成的不同层次的表征，能否更好地利用其中与操作有关的信息？ 让动作模块直接读取不同深度的视觉语言表征 从视觉处理方式与动作输出形式看，可以 将 相关设计分为三类 。下图展示了它们的区别。 图 1 三类 VLA 设计的视觉接口与动作输出方式 区别在于，编码器式 VLA 即使读取语言主干的不同层，所用视觉信息也已经过独立编码器的处理。在 NEO-VLA 中，视觉与语言从主干的第一层起共同建模，因此，动作模块可以接触到视觉表征逐层形成的过程。 「读取哪一层」也由此成为一个可以单独研究的设计问题。 NEO-VLA 如何从观测生成动作 NEO-VLA 以 NEO-2B 为基础。该原生多模态主干包含 40 层，参数量约为 20 亿，视觉通路中没有独立的视觉 Transformer、自编码器或离散视觉码本。主干之外，模型接入一个网络宽度较小、从随机初始化开始训练的动作专家。 图 2 NEO-VLA 的多模态输入、主干网络与动作专家 将多视角图像与指令及机器人状态组织为统一输入 模型同时接收前一时刻与当前时刻的观测，每个时刻最多包含三个相机视角。每个视角的输入由相机标识、相机内参与旋转信息，以及图像分块后的视觉词元组成。所有视角和时刻共用同一个图像嵌入层；图像保留原始宽高比，每个视角最多使用 88 个视觉 Token。 视觉输入之后是一段结构化提示词，用于说明控制频率、机器人类型、夹爪配置、动作参考坐标系和任务指令。模型另用 6 个状态词元表示两只手臂与身体在前一时刻和当前时刻的状态。对于机器人不具备的部件，相应输入会被屏蔽，使同一套接口能够适配单臂、双臂及带移动底盘等不同配置。 通过层映射配置动作专家的读取位置 动作专家的每一层对应主干中的一个指定层，并读取该层缓存的 KV 表示。论文比较了 四种层映射方案 ： first-28：读取第 0 至 27 层，同时将主干截断至前 28 层。 skip-28：保留 40 层主干，在其中近似均匀地选取 28 层。 end-28：保留 40 层主干，只读取第 12 至 39 层。 full-40：读取全部 40 层，并使用 40 层的动作专家。 前三种方案使用相同规模的 28 层动作专家。其中，skip-28 与 end-28 保留的主干深度也一致，仅改变读取位置，是分析浅层信息作用时最直接的对照。first-28 同时缩短了主干，因此也改变了模型的计算量；full-40 则作为动作专家容量更大的配置单独讨论。 通过流匹配一次生成 30 步连续动作 动作专家采用流匹配，一次预测包含 30 个时间步的动作块，统一表示双臂与身体的动作。推理时，模型默认通过 10 步欧拉法求解生成动作。主干只需计算一次，随后每一步采样都复用同一份 KV 缓存。 分三个阶段完成动作训练 训练从适配动作专家开始，再逐步更新整个模型，并引入内部采集的机器人数据。 第一阶段冻结预训练主干 ，只训练动作专家与条件编码模块，共训练 113,400 步，全局批量大小为 8,192。 第二阶段解冻全模型 ，在同一机器人数据集上继续训练 75,000 步。为保留视觉语言理解能力，每隔一个优化步骤加入一批多模态理解样本。 第三阶段 在第二阶段的模型基础上， 使用内部数据继续进行 75,000 步全参数训练 ，其余训练配置沿用第二阶段。 用统一的数据格式连接不同机器人 汇集九类公开数据集的 223 万条轨迹 机器人预训练语料来自九类公开数据集：AgiBot-World、Bimanual YAM、RoboCOIN、Open X-Embodiment、Galaxea Open-World、RoboMIND、RH20T、DROID，以及仿真数据 InternData-A1。论文报告的完整语料共包含 2,231,583 条轨迹 、约 9.28 亿条数据记录 ，覆盖 2,704 个场景 和 7,444 个相机视角 ，已统计时长接近 1 万小时 ，涵盖单臂与双臂等多种机器人配置。 表 1 预训练语料构成及训练采样占比 将不同本体的动作映射到统一格式 不同机器人记录动作的方式并不一致。为进行联合训练，NEO-VLA 将它们转换为统一的动作格式，并通过有效性掩码区分各机器人实际具备的通道。 每只手臂使用 26 个维度，包括 7 个关节目标、3 维末端平移增量、3 维旋转向量增量、1 维夹爪状态，以及 12 个手部关节目标。 身体部分使用 8 个维度，分别对应 3 维底盘运动、3 维躯干动作和 2 维头部动作。 末端平移与旋转增量分别以厘米和弧度为单位，在相机坐标系或机器人基座坐标系下表达；关节与手部目标使用绝对值，身体动作采用基座坐标系。 动作按机器人本体分别