DriveHierarchy：诊断 VLM 驱动能力（从开环理解到闭环执行）的基准

摘要

arXiv:2609.31814v1 Announce Type: new Abstract: Evaluating VLM-based autonomous driving remains difficult because driving competence is composite, where a capable system must ground traffic participan...

and driving loop closed autonomous open for DriveHierarchy VLM based

2026-09-29 1 阅读约1分钟阅读 Chengkai Xu, Jiaqi Liu, Yicheng Guo, Peng Hang, Jian Sun

arXiv:2609.31814v1 发布类型：新摘要：评估基于 VLM 的自动驾驶仍然很困难，因为驾驶能力是复合的，一个有能力的系统必须接地交通参与者和危险，整合跨视图和时间的背景，推理未来的演变，并在闭环交互下采取适当的行动。现有的基准通常评估开环理解或闭环驱动，但提供有限的结构来解释这些能力如何组织、如何相互关联以及它们如何为模型诊断和改进提供信息。我们提出了 \textsc{DriveHierarchy}，这是一个分层基准，它将基于 VLM 的自动驾驶分为四个等级，涵盖感知基础、情境记忆、心理推理和闭环执行。为了实例化这个层次结构，我们将多个开源自动驾驶数据集集成到一个统一的开环基准中，该基准包含超过 84,279 帧的 76,798 个问答对，并开发了一个闭环仿真平台，在现实世界的道路网络上进行交互式场景构建，从中筛选出 100 个驾驶场景进行具体评估。对 15 个 VLM 的实验表明， \textsc{DriveHierarchy} 捕获结构化但非冗余的能力变化，将开环理解与闭环驱动联系起来，并为诊断和基准引导优化提供实用基础。因此，\textsc{DriveHierarchy} 可作为评估和改进基于 VLM 的自动驾驶系统的统一框架。匿名项目已在 https://github.com/PerfectXu88/DriveHierarchy 上发布

订阅66必读