MuteBench：不完全多模态融合的模态不可用容差评估

arXiv:2605.15235v1 公告类型：新 摘要：多模态生理数据为从重症监护病房到可穿戴设备的临床人工智能系统提供动力，但传感器在实践中经常出现故障。常见两种故障模式：模态丢失（整个通道不存在）和模态内丢失（连续时间段丢失）。现有的基准还没有在不同临床数据集的受控严重程度水平下评估两种故障模式下的多种融合架构。我们推出了 MuteBench，这是一个基准，涵盖来自 7 个临床领域的 9 个数据集、6 种融合架构以及超过 125,000 个样本的 2 种缺失数据模式。通过这个基准测试，我们发现架构系列是稳健性最强的预测因素，其重要性超过了参数数量。通道无关模型可以很好地容忍模态缺失，但对模态内缺失很敏感，尤其是在短序列上。课程模式的辍学率只能在培训中使用的最大辍学率范围内提供可靠的保护。我们还发现通道数、序列长度和模态对齐共同决定哪种故障模式构成更大的威胁。最后，PTB-XL 案例研究表明，基于扩散的插补可以改善模态内缺失情况下的下游分类，对于专家路由对损坏的输入最敏感的模型来说，收益最大，尽管跨数据集更广泛的验证仍然是一个开放的方向。 MuteBench 为从业者提供了选择现有架构和为未来稳健的多模态融合方法的设计提供具体指导。