NeurIPS 2026 Oral｜LCVN：一张起始画面、一段语言指令，能否预测完整的导航路线？

从「直接给机器人看终点」 到「告诉机器人怎么走」 「沿着走廊直走，经过左侧玻璃墙后，在拐角左转，继续走到墙边停下来。」 给人指路的时候，往往这样一句话就够了。但是对机器人来说，它需要把「玻璃墙」、「左转」、「墙边」等信息对应到眼前的环境，再转化为连续的移动和转向。 已有的目标条件视觉导航方法，往往用一张终点照片告诉机器人去哪里。这个设定实际使用时却不一定方便，因为用户不一定有目的地的照片，但通常能通过语言来描述目标和沿途的参照物。 围绕这一需求，我们提出语言条件视觉导航任务 LCVN，构建配套数据集，并比较两条结合世界模型与导航决策的路线：一个是在模型想象的环境中学习策略，另一个是用统一模型联合预测动作与画面。 论文：https://arxiv.org/abs/2603.26741 代码：https://github.com/UWMILab/LCVN 主页：https://uwmilab.github.io/LCVN-webpage/ 数据集：https://huggingface.co/datasets/fly1113/LCVN 竞赛：https://roboworld2026.github.io/track1 积分榜：https://www.codabench.org/competitions/18185/ 任务设定： 只看起始画面和语言指令，预测之后完整的导航路线 LCVN 任务的输入只有一张起点的第一人称图像和一段语言指令。模型需要根据这两个输入来预测完整的动作序列（包括平面位移与朝向变化），直到到达指令中描述的终点。 这里有一个关键设定： 预测过程中没有后续的真实环境反馈用于纠错 。 模型只能依靠自身预测的状态继续推演，最后在真实机器人轨迹上评估结果。 因此，LCVN 考察的是离线轨迹预测能力。哪怕一步走错，后续的画面与动作都可能跟着偏离，这也让语言、环境预测和路线规划之间的配合变得格外重要。 数据集： 同一条路线，三种指令风格 LCVN 数据集包含 39016 条轨迹、117048 条经 过人工核 验的指令 ，轨迹来自 Go Stanford、ReCon、SCAND、HuRoN 和 TartanDrive 这 5 个数据集。其中，前四个数据源用于训练和域内评估，TartanDrive 的越野场景用于检验模型陌生环境下的泛化能力。每条轨迹对应三种英文指令：简洁型保留主要方向提示，详细型加入更多场景描述，地标型围绕沿途参照物组织路线。标注时，团队先人工编写种子样例，再由模型结合第一人称视频和俯视轨迹图生成指令，最后进行人工核验与修订。对随机抽取的 640 条轨迹开展人工评估，整体质量评分为 5.2/6.0。 这三种指令风格也引出了一个实际问题：给机器人指路，究竟是说得详细更好，还是提供明确的参照物更有效？ 两条路线： 如何结合想象和决策 1. LCVN-WM + LCVN-AC：在想象的环境里学习动作 第一条路线由世界模型和策略模型配合完成。 世界模型 LCVN-WM 先提取图像特征，再结合历史状态、动作和语言指令，预测后续的场景变化。语言指令通过交叉注意力进入扩散模型，让预测过程可以持续参考指令中的目标与路线。而训练采用 Diffusion Forcing，为上下文中的不同状态加入不同程度的噪声，增强连续预测能力。 在此基础上，决策模型 LCVN-AC 完全在世界模型的潜层空间中学习策略：由它来选择动作，然后世界模型预测动作带来的变化，再根据预测状态与专家轨迹的接近程度提供奖励。训练时，模型还会学习从当前状态和指令推断潜在计划，并与完整专家轨迹提取出的计划对齐。 世界模型由此直接参与策略学习，它预测的未来状态会影响动作如何被优化。 2. LCVN-Uni：在同一个模型中联合预测动作与画面 第二条路线 LCVN-Uni 基于 Anole-7B 的多模态自回归模型，将图像、语言和离散化动作编码为统一的 token 序列。 LCVN-Uni 将下一步动作与下一帧观测放在同一次联合预测中，并共同优化动作与图像预测目标。生成的画面随后作为下一步输入，推动整段轨迹继续展开。 两条路线的区别由此很清楚：前者在世界模型中训练另一个策略模型，后者让同一个模型共同学习动作与视觉预测。 实验结果： 预测更连贯与泛化更好，各有侧重 实验同时评估导航成功率、轨迹误差和预测画面质量。这里的任务成功指预测终点与真实目标的距离小于该数据源的平均步长。 在域内验证集上，LCVN-WM + LCVN-AC 的成功率达到 43% ，LCVN-Uni 为 42% ；加入语言条件的 NWM + LCVN-AC 组合为 29% 。 到了陌生的 TartanDrive 环境，LCVN-Uni 的优势更明显：成功率达到 27% ，高于 LCVN-WM + LCVN-AC 的 19% 。在混合测试集上，两条路线分别达到 36% 和 34%（这个测试集目前我们正用作举办 RoboWorld Challenge 的 WorldNav 赛道）。 画面预测则呈现出另一面。LCVN-WM 更擅长保持结构与时间上的连贯性，连续预测 8 步时，SSIM@8 达到 0.293；LCVN-Uni 为 0.218，但在 DreamSim 指标上表现更好。 这些结果说明，视觉预测能力与导航能力需要分别考察，单看某一个指标并不足以判断模型的整体能力。 语言如何影响导航与未来画面预测？ 为了探究语言引导对于导航和世界模型的影响，我们对比了在世界模型中加入和移除语言条件后的表现。结果显示，缺少指令引导时，两条路线的导航成功率和连续画面预测质量均有所下降。其中，移除 LCVN-WM 的语言条件后，系统在域内验证集上的成功率从 43% 降至 35%。 下图展示了这一差异。对于「沿走廊前进，直到看到右侧的橙色墙面」这条指令，加入语言条件后，两种模型都能更好地在连续预测中保留与目标相关的场景线索。语言在这里有效承担了目标描述的作用，让模型预测的状态与目的地可以保持对应，也为后续动作提供更稳定的依据。 还有哪些问题仍需要解决？ 论文中提供了一个失败案例：LCVN-Uni 判断对了转弯方向，却没有正确生成转弯后应出现的走廊和目标白门，后续动作因此失去了可靠的视觉依据。 LCVN 提供了一个探讨 如何结合想象和决策 的共同测试平台，但真实机器人的闭环验证仍有待开展。当前指令也仅覆盖了三种预设风格的英文表达。更自然的口语、多语言指令，以及执行出错后的恢复能力，都是接下来需要检验的方向。 作者介绍 本文由华盛顿大学、新加坡国立大学、德雷塞尔大学、克莱姆森大学及微软研究院的研究者合作完成。Yifei Dong、Fengyi Wu 为共同第一作者，Zhi-Qi Cheng 为通讯作者。本项工作关注语言引导的视觉导航，以及世界模型与具身决策的结合。LCVN 团队正在 RoboWorld Challenge 2026 举办 WorldNav 赛道，欢迎大家参与，一起探索语言引导的世界建模与视觉导航！赛事详情与报名： https://roboworld2026.github.io/track1 © THE END 转载请联系本公众号获得授权 投稿或寻求报道：liyazhou@jiq