基于层的联合表示学习

arXiv:2608.10016v1 公告类型：新 摘要：异构联邦系统要求代理学习和交换信息表示，尽管数据分布、感知模式、模型架构、潜在维度和本地学习目标存在差异。为了应对这一挑战，我们提出了基于层的联合表示学习（SFRL），这是一种通用框架，可与基于可学习层限制图的流形约束几何对齐正则化器联合优化局部目标。与大多数现有方法不同，SFRL 不假设共享的全局潜在空间。相反，全局一致性是通过正交变换和等距嵌入对相邻潜在表示进行对齐而产生的。这种对齐是由拉普拉斯束引起的二次粘合正则化器强制执行的，其可学习的限制图使几何形状适应观察到的数据。惩罚是在一小组共享导频样本上评估的，确保了可扩展性和通信效率。我们开发了一种用于求解 SFRL 的分散算法，称为 Sheaf-FRL，它在局部模型的梯度更新和边缘限制图的封闭式 Procrustes 更新之间交替。我们进一步在确定性和随机设置下建立 Sheaf-FRL 与一阶驻点的收敛性。作为一个应用程序，我们考虑在模型和数据异构性下的语义通信背景下的协作分类任务。我们的结果表明，Sheaf-FRL 在不同级别的局部分布变化的局部和通信后分类精度方面优于基线方法，并且对潜在空间维度压缩表现出更强的鲁棒性。