奠定驾驶语义中的视觉语言模型：用于可解释推理的多数据集谓词框架

arXiv:2609.31636v1 发布类型：新 摘要：视觉语言模型越来越多地用于驾驶场景理解，但其输出中表达的语义关系通常很难根据底层交通情况进行验证。本文介绍了一种确定性多数据集谓词框架，该框架从可测量的几何、运动学、时间、地图和交通控制证据中导出驾驶场景语义。数据集特定的接口仅用于恢复所需的场景信息，而谓词定义在 nuPlan 和 nuScene 中保持不变，并在通用谓词知识图中具体化。针对每个数据集中 200 个场景的手动注释谓词关系进行定量语义验证，在 nuPlan 上得到 0.94 的宏观 F1 分数，在 nuScenes 上得到 0.93 的宏观 F1 分数，共享谓词之间的平均跨数据集差异为 0.02。使用冻结的 LLaVA-OneVision-7B 模型对九个 NuPlanQA 子任务进一步评估谓词 KG。在九个 NuPlanQA 子任务中的七个中，谓词接地在评估的视觉输入条件中实现了最高准确度，包括交通灯（53.2% 到 71.5%）、态势评估（76.2% 到 86.1%）和行动建议（82.9% 到 89.0%）。天气/照明基本保持不变（89.4% vs. 88.8%），与缺乏相应谓词的情况一致，而在九个子任务中的八个中，仅谓词 KG 输入优于仅元数据输入。结果表明，确定性谓词提供了一致且可追踪的语义表示，并且在预言机基础下，可以减少谓词词汇所涵盖的推理任务的视觉依赖。