SUM：联邦类增量学习的时空适应向量的统一几何手术

arXiv:2607.19384v1 发布类型：新 摘要：现实世界的智能系统通常需要跨数据隔离的客户端进行分布式协作，并不断适应不断变化的任务。这种设置自然而然地产生了联邦类增量学习（FCIL），它结合了联邦学习（FL）和持续学习（CL）。然而，它们的组合引入了两个耦合的干扰源：来自异构客户端的空间干扰和来自顺序任务的时间干扰，共同导致时空灾难性遗忘（ST-CF）。现有方法通常通过单独的机制来解决空间和时间干扰，通常会产生额外的客户端计算或通信，同时使聚合期间更新之间的定向交互不受监管。在本文中，我们将 FCIL 重新解释为统一的多任务学习问题，其中客户端和任务更新都表示为共享参数空间中的适应向量。基于这种观点，我们提出了时空适应向量统一几何手术（SUM），这是一个纯粹的服务器端框架，可以在聚合期间对适应向量执行几何手术。空间 SUM 减轻了每轮中的客户端级干扰，而因果在线时间 SUM 消除了随着时间的推移的跨任务干扰，无需超出标准联合训练的额外客户端计算、通信或内存。根据经验，SUM 在不同的视觉和语言基准上比之前的 FCIL 方法提高了 22%，同时对不可靠的客户端保持鲁棒性并保持计算效率。