C$^2$MOE：不完整多模态情感学习的一致性和互补性引导专家混合

arXiv:2608.04013v1 公告类型：新 摘要：对话中多模态情绪识别 (MERC) 的最新进展凸显了其对完整多模态输入的依赖。然而，现实世界的数据经常由于传输错误或用户行为而丢失模态，从而严重降低模型性能。现有方法通过跨模态一致性学习增强鲁棒性，但很大程度上忽略了模态互补性，导致重建有偏差。为了解决这一限制，我们提出了 C$2$MOE，这是一种新颖的一致性和互补性引导的专家混合框架，用于不完整的多模态情感学习。我们的方法将表征学习和缺失模态插补统一在原则性的信息理论框架内。具体来说，多模态知识通过具有交互意识的专家分解为一致性和互补性组件。通过最大化跨模态可预测性来捕获一致性，而通过最大化模态之间的条件熵来保留互补性。在此分解的基础上，C$2$MOE 引入了双分支预测机制，用于在缺失模式下进行稳健插补。一致性分支通过最小化不确定性来将估算特征与联合分布对齐，互补性分支通过熵最大化来利用模态独特的线索。最后，C$2$MOE 采用可学习的重新加权模块，动态为每个专家的输出分配重要性分数，从而产生稳健且自适应的插补融合。对多个 MERC 基准的广泛实验表明，C$2$MOE 在各种缺失模态设置中始终优于最先进的方法，验证了其稳健性和泛化性。