为什么裁剪在 AdaGrad 中很重要？广义平滑下的高概率理论

arXiv:2609.30276v1 公告类型：新 摘要：我们分析了广义平滑和有界方差重尾噪声下的原始同步坐标 AdaGrad。在此设置中，局部曲率可能随梯度范数呈次二次方增长，并且随机梯度被假定为仅具有有界条件二阶矩。我们证明，未裁剪的 AdaGrad 可能会变得 \emph{各向异性错误校准}：在重尾噪声下，自适应分母可以学习罕见噪声冲击的几何形状，而不是目标的局部曲率，从而导致持续的方向失真，从而阻碍有限水平欧几里德进展。然后我们证明裁剪可以修复这种故障模式。我们的主要结果是对原始非滞后 AdaGrad 更新的有限范围高概率保证，产生 $\frac1T\sum_{t=0}^{T-1}\|\nabla f(x_t)\|^2=\mathcal{O}\left(\frac{d\big(\sqrt{\log T} + \log) \frac{1}{\delta}\big)}{\sqrt{T}}\right),$ 因而 $\widetilde{\mathcal O}(\varepsilon^{-2})$ 复杂度。这表明，对于重尾噪声下的 AdaGrad，裁剪是自适应几何结构的结构稳定器，而不仅仅是鲁棒性启发式。