正则化多模态持续学习中的模态贡献漂移

arXiv:2607.27260v1 公告类型：新 摘要：多模态持续学习（MMCL）旨在从多模态数据中学习新兴知识，同时保留知识。为了减少遗忘，当前的 MMCL 方法通常关注跨模态表示对齐或语义相似性，但它们忽略了单个模态的相对贡献及其交互在增量任务中是否保持稳定。我们将这种决策水平转变称为模态贡献漂移（MCD），并用 MCD 得分对其进行量化，MCD 得分结合了对模态子集的受控干预下的贡献强度和相对依赖变化。理论和实证分析进一步解释了为什么当前的 MMCL 方法无法可靠地缓解这种漂移。为此，我们提出了连续模态贡献漂移正则化（CMCDR），它保留了先前学习任务的模态贡献结构。由于 MMCL 设置在旧示例是否可用方面有所不同，因此 CMCDR 包括基于重放的版本和免重放的版本。基于重放的版本使用模态子集干预作为对存储的旧样本的诊断探针，比较当前模型和冻结的先前模型之间的贡献概况，并限制旧样本模态特定和交互贡献的变化。无重放版本使用当前任务样本作为探针，并提取冻结模型的旧任务贡献响应，从而在没有样本的情况下规范观察到的贡献概况。多模态类增量学习和持续视觉问答实验验证了CMCDR的通用性和有效性。