给多模态大模型选「眼睛」，两个简单改进让评测相关性接近翻倍

视觉编码器是多模态大模型（MLLM）的核心组件之一。即使使用相同的大语言模型（LLM），不同的视觉编码器也可能带来显著不同的下游表现。要找到最合适的视觉编码器，最直接的方法是将候选编码器逐一接入 LLM，完成跨模态对齐训练后进行评测，但这一过程需要大量计算资源。因此，如何在完整训练之前准确预测视觉编码器的下游表现，成为一个重要的研究问题。 现有评测方法主要分为两类：单模态方法主要关注视觉编码器自身的能力，例如图像分类表现；跨模态方法则进一步考虑目标 LLM，通过衡量视觉与语言表征之间的关系，评估不同视觉编码器与 LLM 的适配程度。从直觉上看，跨模态方法考虑了视觉与语言之间的匹配关系，应该能够提供更准确的预测。 随着候选视觉编码器的多样性增加，传统跨模态评测方法的性能显著下降，甚至不及单模态方法。相比之下，RAVEL 在不同候选池中均保持显著优势，展现出更强的稳定性与可靠性。 然而，研究团队通过训练并评测 210 个多模态大模型发现，现有跨模态方法的优势并不稳定。在规模较小、类型相对有限的候选池中，跨模态方法通常优于单模态方法；但随着候选视觉编码器的数量和多样性增加，跨模态方法的评测性能显著下降，甚至弱于单模态方法。这一发现表明，现有跨模态评测方法在大规模、多样化的视觉编码器筛选任务中仍存在明显局限。 针对这一问题，团队提出了免训练评测方法 RAVEL。RAVEL 保留了跨模态评测的基本思路，并引入两个简单的技术改进：Stablized PCA Whitening（带稳定项的 PCA 白化），减少特征空间中主导方向的干扰；以及 Patch-level Similarity Scoring（基于图像块匹配的相似度计算），利用图像局部特征，更充分地捕捉视觉表征中的细节信息。这两个改进有效提升了跨模态评测的准确性与稳定性，使 RAVEL 在不同规模和多样性的候选池中均能保持较好的表现。 实验结果表明， 在三个不同的 LLM 上，RAVEL 的评估分数与实际下游表现的相关性显著高于之前的工作：无需额外训练，RAVEL 平均 Spearman 相关系数高达 0.85 ，不仅超越需要训练的 Alignment Probing 方法（ +36.1% ），更大幅领先此前的免训练方法 GW（ +93.5% ）和 MutualNN（ +101.1% ）。 RAVEL 表明，无需额外训练，仅通过更合理地利用已有的视觉与语言表征，就能显著提升视觉编码器的评测准确性，为多模态大模型的组件选择提供了一种高效、可靠的新方法。 论文标题：A Strong Baseline for Evaluating Vision Encoders in Multimodal Large Language Models 论文链接：https://arxiv.org/abs/2610.05413 开源代码：https://github.com/JuntaoTang/MLLM-VisionEncoder-Eval 模型权重：https://huggingface.co/336labs/VisionEncoder-to-MLLM-ModelZoo 团队同时开源了此次实验训练得到的 210 个 MLLM 权重 ，覆盖 多种视觉编码器与 LLM 组合 。研究者可以 直接基于这些模型开展视觉编码器选择、跨模态对齐、表征分析等研究 ，无需重复完成大规模多模态训练。 一、选视觉编码器，为什么不能只看它自身的表现？ 最直观的做法，是直接看视觉编码器本身有多强，例如它在图像分类等任务上的表现。但在 MLLM 中，视觉编码器还需要与语言模型主干配合：它提取出的视觉信息，最终要由语言模型主干来理解和利用。因此，一个视觉编码器自身表现优秀，并不意味着与特定 LLM 组合后也一定表现最好。 实验结果也印证了这一点： 当 LLM 发生变化时，表现最好的视觉编码器也会随之改变 。这意味着，仅依赖线性探测等纯视觉指标，很难判断哪个视觉编码器真正适合当前的 LLM。 图 1：不同 LLM 下的视觉编码器表现，星标代表各 LLM 下表现最好的视觉编码器。 二、现有的跨模态对齐指标可以直接用于选视觉编码器吗？ 也有研究尝试同时利用视觉和语言信息，通过比较两种模态的表征来预测视觉编码器的下游表现。但这类跨模态指标在更大、更复杂的候选范围中是否依然可靠？ 为了回答这个问题，团队扩大了候选池，纳入不同架构、预训练方式和输入分辨率的视觉编码器，并同时覆盖连续型视觉编码器和离散型视觉分词器。实验发现，现有跨模态指标在较小的候选池中确实优于纯视觉指标；但随着候选范围扩大，其预测相关性明显下降，部分方法甚至不及纯视觉指标。 图 2：随着候选视觉编码器的多样性增加，传统跨模态评测方法的性能显著下降，甚至不及单模态方法。相比之下，RAVEL 在不同候选池中均保持显著优势，展现出更强的稳定性与可靠性。 三、RAVEL：图像与文本的近邻关系是否一致？ RAVEL 采用了一个基于 跨模态近邻一致性 的评估框架。其核心直觉是：如果候选视觉编码器与目标 LLM 对同一批样本形成了相似的语义结构，那么图像与文本在各自表征空间中的近邻关系也应该较为一致。 具体来说，给定一批图像及其对应文本，RAVEL 分别使用候选视觉编码器和目标 LLM 提取特征，并在各自的表征空间中检索近邻：图像侧寻找相似图像，文本侧寻找相似文本。对于一对图文样本，如果图像侧找到的近邻，其对应文本也出现在文本侧的近邻中，就说明两种表征空间找到了相同的语义邻居。这样的近邻重合越多，说明视觉与语言表征的局部结构越一致。 RAVEL 汇总所有样本的近邻一致性，为候选视觉编码器打分。由于只比较各自表征空间内部的近邻关系，它不要求视觉和文本特征具有相同维度，也无需任何训练或下游表现标签。 图 3：跨模态近邻一致性的评估框架 在这一框架下，为了让近邻关系更准确地反映语义结构，RAVEL 进一步做了两点设计： 带稳定项的 PCA 白化 ：缓解特征方差不均衡对相似度计算的影响。 局部图像块（patch）匹配 ：保留全局池化容易丢失的局部语义信息。 四、210 个 MLLM 的实验：预测的排序可靠吗？ 团队将 70 个视觉编码器配置 分别与 Qwen3-1.7B、Qwen2.5-1.5B 和 SmolLM2-1.7B 组合，共训练了 210 个 MLLM 。所有模型均采用统一的 LLaVA 式两阶段训练流程，并在 11 个下游基准 上进行评测，覆盖视觉问答、多模态推理、文字识别等任务。 在此基础上，团队将 RAVEL 与九种现有评估指标进行比较，涵盖纯视觉指标，以及需要或无需额外训练的跨模态方法。为保证公平，各方法均在相近的计算量（FLOPs）预算下进行比较。结果显示，在三个 LLM 上，RAVEL 的 Spearman 和 Pearson 相关系数均达到最高。 表 1：不同评估指标的预测能力比较。ρ 和 r 分别表示 Spearman 和 Pearson 相关系数。 五、RAVEL 为什么有效？ 消融实验表明，RAVEL 的提升主要来自两个设计：PCA 白化显著改善了近邻关系的质量，局部匹配则在此基础上进一步提升了预测能力。 表 2：消融实验结果。