智能AI
morning
处理然后检索：调查视觉语言模型中模态差距的起源
摘要
arXiv:2611.09897v1 Announce Type: new Abstract: Understanding the origins of the modality gap in vision language models remains a significant challenge. This work investigates whether differences in i...
the
modality
vision
tokens
text
with
gap
density
that
early
2026-11-10
1 阅读
约1分钟阅读
Arpita Shanbhag, Julia Tran, Dhruv Mandala, Ayda Sultan
字号:
arXiv:2611.09897v1 公告类型：新 摘要：理解视觉语言模型中模态差距的起源仍然是一个重大挑战。这项工作研究了嵌入层的模态特定标记之间的信息密度差异是否导致了这种不平衡。我们表明，文本标记以比视觉标记低得多的语义密度进入模型，从而驱动早期层在将文本表示与视觉结合之前专注于处理文本表示。通过机制分析，我们证明，用语义上最接近的文本标记对应物替换视觉标记位置会引起人们对早期层中这些位置的更多关注。这些发现为解决模态差距奠定了基础，并为改进 VLM 架构中的多模态推理提供了见解。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱