具有自适应冲突避免更新方向控制的规律性随机 MGDA

arXiv:2607.15412v1 公告类型：新 摘要：多目标学习（MOL）旨在同时优化多个目标。多梯度下降算法 (MGDA) 是一种主力，可以沿着跨目标的共同下降或冲突避免 (CA) 方向迭代更新。然而，在随机设置中，普通随机 MGDA 方法 (SMG) 缺乏快速收敛速度，因为小批量采样会在梯度中引入噪声。这会导致更新方向出现偏差，该偏差由 CA 方向连续性控制。在本文中，我们证明CA方向相对于雅可比矩阵是$1/2$-Holder连续的，并且在最坏情况下指数$1/2$无法改进。这导致之前的工作中普通随机 MGDA 的收敛速度不理想。然而，在额外的规律性条件下，我们证明这可以改进为 Lipschitz 连续性。基于这一见解，我们提出了一种随机多目标规则性感知（MoRe）方法，当子问题是规则的时，该方法利用 CA 方向的 Lipschitz 连续性，否则切换到固定的标量化权重。直观上，当梯度冲突较大时，该算法采用CA方向更新，否则采用线性标量化更新。理论上，我们的方法将非凸设置中 SMG 的收敛速度从 $\widetilde{\mathcal O}(T^{-1/4})$ 提高到 $\widetilde{\mathcal O}(T^{-1/2})$，其中 $\widetilde{\mathcal O}(\cdot)$ 隐藏了对数因子。同时，我们还建立了每迭代的冲突避免保证。根据经验，实验证明了其在多任务性能方面的有效性，并验证了收敛行为与既定的理论速率一致。