具有线性判别树集成的可解释多模态分类

arXiv:2608.20384v1 公告类型：新摘要：融合异构文本、音频和视觉流的多模态情感和行为分类器必须同时实现有竞争力的准确性，并为推动其决策的线索提供人类可理解的解释——当前的高容量模型（尤其是 Transformer）只能部分解决这一双重目标。虽然 Transformer 获得了强大的预测性能，但它们的分布式表示和深度非线性使得很难为各个多模态特征分配有意义的重要性权重，从而限制了它们在信任敏感的应用中的使用，例如临床情感监测和教育评估。我们通过开发一个基于树的集成的框架来解决这一差距，该框架平衡了准确性和可解释性。该框架将每种模态编码为标记，提取和聚类概念以降低维度，通过基于树的集成分类器路由融合模态，并使用新颖的修改后的特征重要性度量来解释趋势。修改后的重要性减少了二元分类任务中负类的影响，从而改善了指标或标记检测。所提出的基于树的集成——线性判别树（LDT）、线性判别森林（LDF）和线性判别AdaBoost（LDAB）——与多模态转换器相比，F1-mod 增益提高了 4.3%，而与主要可解释多模态基线、可解释多模态路由（IMR）相比，精度提高了 3.0%。所提出的多模态特征重要性提取显着的模态间概念，其人类注释者一致性分数明显高于默认特征重要性（IEMOCAP 上为 62.2% vs. 43.2%；CMU-MOSI 上为 46.7% vs. 32.1%）。