KVE-KD：视觉语言模型的关键视觉证据引导知识蒸馏

摘要

arXiv:2610.03842v1 Announce Type: new Abstract: Knowledge distillation is crucial for deploying vision-language models on resource-constrained devices. However, existing methods typically impose unifo...

visual the KVE distillation tokens with and token task relevant

2026-10-06 1 阅读约1分钟阅读 Jianbin Zhang, Xin Sun, Shanwen Wang, Wei Ye, Susanto Rahardja

arXiv:2610.03842v1 公告类型：新摘要：知识蒸馏对于在资源受限的设备上部署视觉语言模型至关重要。然而，现有的方法通常对视觉标记施加统一的监督或依赖于静态标记选择，这会将任务相关线索与背景噪声混淆并降低跨模式推理。为了解决这个限制，我们提出了关键视觉证据引导的知识蒸馏（KVE-KD），这是一个框架，动态地将特征蒸馏集中在教师模型识别的与任务相关的视觉标记上。具体来说，KVE-KD 将最终的预生成文本标记指定为统一的语义锚点，并通过迭代视觉标记贡献去除分析锚点表示的变化来识别目标跨模态融合层。在这一层中，KVE-KD 通过锚条件注意力分布对视觉标记进行排序，并选择信息最丰富的视觉标记作为具有归一化熵的关键视觉证据。关键视觉证据随后指导集中视觉特征蒸馏，使学生与教师的任务相关视觉表征紧密结合，同时抑制不相关的背景信息。对六个基准的大量实验表明，KVE-KD 优于最先进的跨模式蒸馏方法，在需要复杂推理和细粒度视觉理解的任务上尤其明显。重要的是，这些改进是在不引入任何推理时间开销的情况下实现的。源代码可在 https://github.com/zhangjianbin07/KVE-KD 获取。

订阅66必读