知识图问答提示中的图形可视化

arXiv:2611.12938v1 公告类型：新 摘要：我们研究多模态输入何时以及如何改进大型视觉语言模型中的知识图问答（KGQA）。我们使用固定 KGQA 管道中超过 1,500 个 WebQSP 和 CWQ 问题以及 6 个 VLM 的受控评估，在每个问题级别将纯文本提示与文本加图形可视化进行比较，并分析性能变化作为推理复杂性、模型大小和图像布局的函数。添加图形图像会产生 1.85 F1 点的平均增益，这得益于低复杂性问题的精确度的大幅提升 (+4.65 F1)。混合效应和回归分析表明，这些多模态增益并不强烈依赖于模型规模，但对图形布局高度敏感：仅图像设置会急剧降低性能，分层 Graphviz 布局优于组织较少的渲染，并且将大型子图分解为单独的路径会产生最大的改进。总而言之，结果表明，视觉提示主要通过提高低复杂度环境中的预测精度来帮助 KGQA，前提是视觉设计尊重认知和感知约束。为了优化准确性和推理效率，我们主张采用自适应视觉提示策略，有选择地将图表附加到具有结构良好的布局的小型、视觉稀疏的子图上，避免复杂查询上不必要的视觉混乱和令牌开销。最后，我们将这些发现与视觉符号设计理论联系起来，概述了原理图编码如何指导未来的多模式 VLM 提示。