ConflictVLA-Bench：视觉-语言-动作模型对前提冲突的行为反应基准测试

arXiv:2609.31792v1 公告类型：新 摘要：虽然视觉-语言-动作（VLA）模型在操作任务上表现强劲，但它们对无效任务前提的响应仍未得到充分探索。现有的前提冲突评估通常侧重于最终任务结果，但仅靠任务失败无法区分行为脱离和执行错误后的持续追求。我们将后一种模式称为失败持久性。为了研究这种现象，我们引入了 ConflictVLA-Bench，它将冲突推出与前提一致的参考推出配对，并评估结果和执行过程。该基准测试基于 LIBERO 构建，包含 2,826 个提示条件冲突任务，涵盖四个冲突系列、四种结构配置和两个提示条件。在所有 8 个 VLA 中，无效前提使原始目标完成度至少降低 17.3 个百分点，其中 OpenVLA 的降低幅度达到 56.2 个百分点。至关重要的是，即使模型在前提一致的任务上取得了成功，但在匹配的冲突任务上失败了，它们通常会继续接近原始目标，保留早期的轨迹结构，并表现出有限的行动幅度抑制。因此，在评估的模型中会重复出现失败的持久性。明确的前提检查并不能始终如一地产生选择性和协调的行为改变。这些研究结果表明，仅最终失败既不能造成行为脱离，也不能导致拒绝，并且仅结果不足以进行 VLA 评估。实验数据和其他详细信息可在项目页面上找到：https://github.com/EmbodiedAISurvey/ConflictVLA-Bench