Mistral 的 Robostral Navigate：最先进的机器人导航模型

← + − → 介绍 Robostral Navigate 思维总结 Robostral Navigate 是一种 8B 模型，使机器人能够仅使用单个 RGB 摄像头自主导航复杂环境，在未见的 R2R-CE 基准测试中取得 76.6% 的成功 — 性能优于多传感器方法，同时效率更高。它完全是在内部使用模拟训练数据和令牌高效技术构建的，它可以推广到各种机器人类型，并适应训练期间看不见的现实世界障碍。该模型将基于指向的导航与强化学习相结合，以实现持续改进，为机器人领域的统一嵌入式人工智能铺平道路。今天，我们要介绍 Robostral Navigate，这是我们为实体导航构建的第一个模型。它是一个 8B 模型，可拍摄 RGB 图像和简单语言指令，并在环境中移动机器人：“离开大厅，穿过走廊，进入供应室，然后停下来面对第二个货架。”为了执行此类任务，其他模型通常采用深度传感器、激光雷达或多个协同工作的摄像头。 Robostral Navigate 仅使用一台普通 RGB 摄像头，没有深度传感器，但在未见的 R2R-CE（连续环境中的房间到房间）验证中仍然达到了 76.6%，这是在训练之外的环境中遵循指令的基准。因此，它比最好的单摄像头方法高出 9.7 分，比使用深度或多摄像头的最佳系统高出 4.5 分，尽管两者都没有使用。导航 我们的模型专为机器人导航而设计，使机器人能够自主导航复杂的环境，包括办公室、住宅和商业建筑以及户外环境。 Robostral Navigate 在办公室的一条长视野指令路线上完全自主运行。该技术开启了制造、交付、物流和酒店业的众多应用，使其成为当今客户最需要的功能之一。给 Robostral Navigate 一个指令，它就能自行完成整个任务，穿过一个充满人和障碍的生活空间，它从未被展示过，能够适应任何环境。亮点 R2R-CE 上最先进的性能 79.4% 已见验证成功率 76.6% 未见验证成功率 从单个 RGB 摄像头操作，无 LiDAR 或深度传感器 8B 模型，内部构建并完全在模拟中训练 在轮式、腿式和飞行机器人上运行，并可推广到不同尺寸的机器人 对相机内在差异的鲁棒性 通过前缀缓存进行令牌高效训练 成功率 Oracle 成功率 成功率路径长度 导航错误 通过指向进行导航 给定任务和观察历史，Robostral Navigate 通过指向来预测机器人接下来应该移动的位置：它推断机器人当前摄像机视图中目标位置的图像坐标，以及到达时所需的方向。与依赖公制位移的命令不同，指向使得该策略自然对相机内在特性和世界尺度的变化具有鲁棒性。但是，此方法无法处理目标位置位于当前视野之外的情况。当指向不适用时，模型会回退到机器人局部坐标系中的位移，例如：“向前移动 2 米，向左移动 1.5 米，然后向左转 25 度。”从头开始构建 Robostral Navigate 完全是内部构建的，不依赖于现有的开源 VLM。该模型是从专门用于定位、计数和对象定位等基础任务的视觉语言模型初始化的。导航是这些功能的自然延伸：一旦它了解了物体在哪里，它就学会了如何移动。我们完全通过模拟构建了高效的数据生成管道。这使得数据能够快速迭代，从而产生了在 6,000 个场景中收集的大约 400,000 条轨迹的数据集。高效的监督训练 Robostral Navigate 的一个关键要素是基于前缀缓存的高效训练算法。使用基于树的注意力掩蔽策略，我们的方法将整个情节压缩为单个序列，从而能够在单个前向传递中对所有时间步进行训练，同时防止时间步之间的信息泄漏。与每个时间步使用一个样本进行训练相比，我们的方法将训练标记的数量减少了 22 倍，同时保留了所有学习信号。在实践中，这种方法将需要几个月的训练转变为几天内完成的训练。在线强化学习我们利用在线强化学习大规模利用我们对法学硕士培训后的知识来提高 Robostral Navigate 的性能。在监督训练阶段之后，我们使用在线强化学习算法 CISPO 进一步提高模型的性能。这使得模型能够从试验和错误中学习，从失败中恢复，并获得探索性的能力。