英伟达等重新设计VLA推理！机器人动作提速3.4倍

本文第一作者为纽约大学计算机科学博士生 Jack Lu，研究工作完成于他在英伟达实习期间。本文由英伟达资深研究科学家、Alpamayo 研究技术负责人 Yan Wang，以及英伟达自动驾驶研究负责人、斯坦福大学副教授 Marco Pavone 共同指导。 如今，许多视觉 - 语言 - 动作（VLA）模型会先推理、再行动。在输出动作之前，模型先写一段简短的文本，比如对场景的描述、一个计划，或者下一步要完成的子任务。这样做的机器人成功率更高，但速度也更慢。推理文本需要逐个 token 自回归地生成，动作必须等文本写完才能开始。在论文的实验中，写推理文本最多占到单次模型调用耗时的 70%。 来自英伟达、纽约大学、UC 伯克利、约翰斯・霍普金斯大学和斯坦福大学的研究团队仔细考察了推理的收益究竟从何而来。他们发现，动作并不需要读取当前这一步写出的推理，模型学会写推理就已经足够。团队据此提出了 TacitVLA。它和标准的推理 VLA 一样被训练去写推理，但它的动作从不等待这段文本。 在机器人操作和自动驾驶的四个 benchmark 上，TacitVLA 的成功率与显式推理相当，延迟最多降低 3.4 倍。在相同速度下，它比不加推理训练的同一模型成功率最多高 17 个百分点。在两个长程记忆 benchmark 上，TacitVLA 还刷新了已发表方法的最好成绩，在 RMBench 上提升 21 个百分点，在 RoboMME 的计数任务上提升 16 个百分点。 论文标题：TacitVLA: Reasoning Vision-Language-Action Models Without Reasoning Latency 论文链接：https://arxiv.org/abs/2610.17540 项目主页：https://tacitvla.github.io/ 推理文本的三种作用 在推理 VLA 中，生成的文本有三种作用。 训练时，它是监督目标。学习写出这段文本，会塑造 action expert 所依赖的 backbone。 在长程任务中，它还可以充当记忆。假设机器人需要按好几次按钮，摄像头拍不出已经按了几次，但一份记录已完成子任务的日志可以。 最后，在部署时，文本是 action expert 的输入。action expert 要读取当前这一步写出的文本，所以动作必须等待。TacitVLA 保留了前两种作用，去掉了第三种。 方法 近期的推理 VLA 大多采用同一种结构。视觉 - 语言 backbone 负责写推理，基于 flow matching 的 action expert 通过注意力读取 backbone 的信息并输出动作。在每个 benchmark 上，团队用这一结构在相同数据上训练三个策略。 在 Explicit Reasoning 中，action expert 会读取自己刚写出的推理，与 embodied chain-of-thought 的做法一致。TacitVLA 使用完全相同的训练序列、损失函数、prompt 和优化器，唯一的区别是 attention mask 里的一处改动，它让 action expert 看不到推理 token。No Reasoning 则是同一结构在不含推理文本的数据上训练得到的模型。 这样的设计把推理可能带来帮助的两条途径分开了。 一是学习写推理，可能训练出更好的 backbone。二是读取推理，可能为 action expert 提供有用的额外输入。Explicit Reasoning 同时具备这两种效果，No Reasoning 两者都没有。TacitVLA 只保留第一种，而第一种在部署时不花任何时间。 部署时，如果推理文本没有用处，TacitVLA 就直接跳过不写。在记忆任务上，每个新的子任务仍要写入日志，供后面的步骤使用。因此 TacitVLA 先算出动作，再在机器人执行这个动作的同时写日志。在两个记忆 benchmark 上，每一次调用中日志都在动作执行完之前写完，所以没有带来任何额外延迟。 实验结果 在全部四个 benchmark 上，TacitVLA 的成功率与 Explicit Reasoning 相当，并超过 No Reasoning，同时保持了 No Reasoning 的速度。 提升最大的是记忆 benchmark。在 RMBench 上，TacitVLA 在四个任务上的平均成功率为 77.5%，Explicit Reasoning 为 77.0%，此前已发表的最好结果为 56.5%。它相对 No Reasoning（60.4%）的提升大部分来自 Press Button 任务，在这个任务里，按了几次只记录在日志中。在该任务上，No Reasoning 的成功率为 7.7%，TacitVLA 为 74.3%。 在 RoboMME 上，用全部 16 个任务训练时，TacitVLA 的总体成功率为 48.1%，此前最好结果为 44.5%。在计数任务上，它达到 82.7%，此前最好为 66.8%。只用计数任务训练时，它达到 89.5%，高于该 benchmark 给出的人类参考成绩 88.5%。在人类参考的设定中，人只负责选择高层步骤，具体动作由 oracle planner 执行，而 TacitVLA 的每一个动作都由自己完成。 推理在不需要记忆的任务上同样有帮助。LIBERO-Plus 以零样本方式测试七类扰动。在这个 benchmark 上，两个推理策略取得了仅用 LIBERO 训练的已发表策略中的最高分，Explicit Reasoning 为 73.5%，TacitVLA 为 72.9%，No Reasoning 为 67.6%。 在标准 LIBERO 上，TacitVLA 达到 98.6%，与已发表的最好结果持平。在公开的 AlpaSim 挑战赛场景上进行闭环驾驶测试时，TacitVLA 的场景得分为 52.5%，Explicit Reasoning 为 52.3%，No Reasoning 为 46.4%。这一成绩与 Alpamayo-R1 只差 2.5 分。Alpamayo-R1 是一个使用四个摄像头的 10B 模型，而 TacitVLA 的参数量不到它的一半，摄像头也只用了一半。 在单张 H100 GPU 上，TacitVLA 在 LIBERO 上输出一个动作需要 147 ms，Explicit Reasoning 需要 495 ms，是前者的 3.4 倍。在自动驾驶中，两者分别为 127 ms 和 269 ms。在记忆任务上，Explicit Reasoning 慢 1.4 到 1.7 倍。TacitVLA 则在执行期间写日志，最多只占用执行时间的 23%。 总结 实验覆盖了机器人操作和自动驾驶，也覆盖了需要记忆和不需要记忆的任务。在这些设定中，推理的收益都通过在推理文本上的训练传递给动作。在记忆任务上，收益还通过此前写下的日志传递。读取当前这一步的推理只会让策略变慢，并不会让它更成功。 TacitVLA 不需要额外的模型，也不需要调度器。任何采用这种结构的推理 VLA，只要在训练时用 attention mask 让