模态异构下的鲁棒联邦多模态图学习

arXiv:2605.12584v1 公告类型：新 摘要：最近，多模态图学习（MGL）因集成不同模态信息和结构化上下文以支持各种网络应用而引起了广泛关注。然而，由于多方之间的数据共享限制，现实世界的图通常是孤立的，而且它们的模式通常是不完整的。这凸显了开发强大的联合方法的迫切需要。然而，我们发现现有方法仍然不够。一方面，处理缺失模态的集中式 MGL 方法忽略了联合场景中的知识共享和泛化。另一方面，虽然联邦 MGL 方法已经变得越来越成熟，但它们主要针对非图数据。基于这些技术，我们确定了一个两阶段管道，其中客户端完成重建缺失的模态，而服务器端聚合集成模态生成器和主干模型的客户端更新参数。虽然这是一个通用的解决方案，但我们确定了实现更大鲁棒性的两个主要挑战：（1）拓扑隔离的本地完成：客户端模态生成难以有效地利用全局语义。 (2) 可靠性不平衡的全局聚合：服务器端多方协作受到具有不同模态可用性和恢复可靠性的客户端更新的阻碍。为了解决这些挑战，我们提出 \textsc{FedMPO}，它利用拓扑感知的跨模式生成来恢复丢失的特征，使用全面的图上下文、丢失感知的专家路由来本地过滤掉噪声恢复信号，以及可靠性感知的聚合来适当地降低不可靠更新的权重。对 6 个数据集的 3 项任务进行的广泛实验表明，FedMPO 的性能优于基线，在高缺失和非 IID 设置中实现了高达 4.10% 和 5.65% 的性能提升。