读懂整个心脏：用于多模态心脏表征学习的潜在注意屏蔽自动编码器

arXiv:2609.12035v1 公告类型：新 摘要：心血管诊断依赖于整合补充方式，如心电图、超声心动图、胸片和临床变量，每种方式都捕捉心脏生理学的不同但相关的方面。然而，大多数医学基础模型仍然是特定于模态的，仅结合模态进行微调或训练后。这抛弃了临床医生自然整合的跨模式证据，并忽略了每种模式内的结构。我们引入了潜在注意力屏蔽自动编码器（LAMAE），这是一种多模式、结构感知的屏蔽自动编码器，可在自监督预训练期间共同学习患者级别的表示。 LAMAE 不是事后融合模态，而是通过在研究-视图-实体层次结构上运行的共享潜在注意力模块直接在潜在空间中交换信息，从而能够聚合变量观察并优雅地处理缺失的模态。经过超过 120 万次 MIMIC-IV 住院预训练，LAMAE 在多模态住院任务（例如院内死亡率、ICD-10 和 DRG 编码以及住院时间）上优于特定模态预训练以及强对比和视觉语言基线，同时在单模态任务上保持竞争力。即使在测试时只有单一模态可用，这些收益仍然存在，这表明对模态内和模间结构进行建模可以产生更稳健、可转移的表示。