基于推送的异步联邦学习：一种偏差校正聚合方法

arXiv:2605.26162v1 发布类型：新 摘要：异步去中心化联邦学习（ADFL）消除了中央协调和全局同步，使其对大规模异构系统具有吸引力。然而，频繁的点对点通信、有向拓扑的异步更新和非独立同分布数据共同导致过多的通信开销、有偏差的聚合和严重的模型漂移。我们提出了 PushCen-ADFL，这是一种高效通信的 ADFL 框架，可以在不对称通信和延迟的客户参与下实现稳定的训练。 PushCen-ADFL 在共享质心表示空间中耦合通信、聚合和局部稳定，形成压缩和优化之间的闭环。客户端交换质心形式的消息，应用保留平均的推和混合来纠正聚合偏差，并使用锚定在同一质心空间中的轻量级质心正则化来减轻异质性和陈旧性下的漂移。有界的、发送方重复数据删除的缓冲区进一步提高了不规则异步到达情况下的鲁棒性。在视觉数据集上的实验表明，PushCen-ADFL 在数据异构性下将准确性提高了 6%，同时将每次推送的通信成本降低了 80% 以上，实现了良好的准确性与通信权衡。