MIDAS：互信息解耦与不确定性感知融合，用于不完整的多模态情感分析

arXiv:2608.09986v1 公告类型：新 摘要：大多数现有的多模态情感分析方法都假设可以访问完整的多模态输入。然而，现实世界的应用程序经常遇到不完整或损坏的模式，构成了严峻的挑战。尽管已经提出了几种方法来解决这个问题，但它们主要依赖于数据插补和启发式协调约束，无法有效地从不完整的多模态数据中提取和利用任务相关信息。为了应对这一挑战，我们提出了一个称为不确定性感知融合的互信息解缠（MIDAS）的统一框架，它可以在不完整条件下有效地重构多模态表示。 MIDAS采用变分建模策略，用多元高斯潜变量来表示每种模态，并进一步将它们分解为共享因子和独占因子。为了获得可靠的表示，我们设计了一个极小极大目标，最小化共享空间和独占空间之间的互信息以实现稳定的解耦，同时最大化跨模态共享空间之间的互信息以增强语义对齐。此外，还引入了一种不确定性感知融合机制，其中后验方差被用作可靠性指标，在融合过程中自适应地加权潜在特征，即使在模态不完整的情况下也能确保稳健的集成。对三个广泛使用的数据集进行的广泛实验表明，MIDAS 在各种不完整的设置中比竞争基线实现了强大且一致的性能增益，证明了其对于不完整数据场景的有效性和鲁棒性。