Ovis-Embedding：推动通用全模态嵌入的前沿

arXiv:2609.25165v1 公告类型：新 摘要：在本报告中，我们介绍了 \textbf{Ovis-Embedding}，这是一个基于文本、图像、视频和音频的本机集成构建的最先进的全模态嵌入系列。 Ovis-Embedding 没有组装单独的模态塔，而是使用共享的多模态主干在公共表示空间中对不同模态进行编码。具体来说，我们做出了 \textbf{三个关键进展}： (1) \textbf{原生全模态初始化}：我们采用预训练的 Qwen-omni 模型作为嵌入主干，并通过低秩初始化的对比训练来适应它； (2) \textbf{以数据为中心的全模态训练}：我们构建了一个广泛的、高质量的语料库，涵盖文本、图像、视频、音频和交错的多模态数据。为了提高数据效率，我们引入同质源采样来形成具有信息丰富的批内负数的任务一致批次； （3）\textbf{嵌入特定的训练和推理优化}：我们使用焦点损失来强调困难示例，并使用基于相似性的嵌入蒸馏来传输来自互补专家的细粒度相似性结构。在推理时，低秩特征分解可以实现具有灵活维度和最小性能损失的紧凑嵌入。实证评估表明，\textbf{Ovis-Embedding} 系列在 \textbf{MMEB-v3}、\textbf{MMEB-v2}、\textbf{MVEB}、\textbf{MAEB} 和 \textbf{RTEB} 上实现了最先进的性能，证明了其在文本、图像、视频和音频模式中的有效性。这些结果凸显了统一全模态训练在克服模态碎片化和推进用于任意检索的通用嵌入模型方面的潜力。