智能AI
morning
CAT-GS：通过校准门控和融合手术平衡多模态学习
摘要
arXiv:2608.24947v1 Announce Type: new Abstract: End-to-end training of multimodal neural networks often exhibits unstable neural dynamics characterized by three coupled failure modes that degrade lear...
and
fusion
CAT
neural
modality
multimodal
dynamics
where
gradient
gating
2026-08-27
1 阅读
约1分钟阅读
Mahir Shahriar Tamim, Sharjil Khan, Md. Samiul Alim, Tanvir Ahmed Khan, Shafin Rahman, Nabeel Mohammed
字号:
arXiv:2608.24947v1 公告类型：新 摘要：多模态神经网络的端到端训练通常表现出不稳定的神经动力学，其特征是三种耦合故障模式，从而降低学习能力：（i）模态不平衡，其中一个分支主导基于梯度的优化； (ii) 不稳定的门控，其中嘈杂的置信线索会导致不稳定的模态选择； (iii) 融合干扰，其中特定于模态的梯度在共享融合层发生冲突。我们提出 CAT-GS（融合手术的校准、自适应、阈值门控），一种用于智能计算应用的基于神经动力学的优化控制器。 CAT-GS 在反向传播期间运行，无需修改模型架构、融合模块或任务损失。通过温度缩放和 EMA 平滑来校准教师导出的可靠性，CAT-GS 使用边际阈值策略在预热 dropout、弱模态优先级和弱偏置混合之间切换来稳定神经动力学，通过上限梯度预算重整化稳定积极门控下的梯度幅度，并应用仅融合 PCGrad 来减少主要共享瓶颈处的破坏性跨模态干扰。我们在视听多模态模式识别基准（CREMA-D、AV-MNIST 和 VGGSound）、三模态设置（UR-FUNNY）、受控合成数据（CG-MNIST）和其他跨域基准（AVE 和 CMU-MOSI）上评估 CAT-GS。 CAT-GS 提高或匹配跨设置的强不平衡感知基线（包括 OGM-GE、G$^2$D 和 UMT）的融合多模态准确性，并产生更平滑的门控行为，减少冲突的融合梯度。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱