首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

大步梯度下降分类:统一自稳定和收敛率

2026-11-16 1 阅读 约1分钟阅读 Salma Tarmoun, Lachlan Ewen MacDonald, Konstantinos Emmanouilidis, Ziqing Xu, Ren\'e Vidal
分享:
字号:
arXiv:2611.17459v1 公告类型:新 摘要:神经网络通常使用超过经典稳定性阈值的步长进行梯度下降 (GD) 训练,这种情况下标准收敛理论不再适用。尽管表现出非单调损失和振荡动力学,但这种机制经常导致更快的收敛和更好的泛化。现有的理论观点提供了补充但不完整的见解:一个确定了一种自稳定机制,该机制将 GD 推向平坦区域,但不会产生收敛率;另一种方法得出了特定损失的严格比率,但没有解释潜在的稳定机制;第三种方法统一了超参数化最小二乘的这些视图,但依赖于最小流形的存在,而分类设置中不存在这种情况。在这项工作中,我们将这种统一的几何视角扩展到指数尾部损失,包括可分离线性分类中的逻辑和交叉熵损失,其中在任何有限参数下都无法获得损失下确界。我们确定了一个曲率定义的参考子空间,它取代了最小流形的作用,产生了一个耦合动力系统,其中正交振荡通过沿着锐度递减方向的平行进展而被阻尼。在规律性条件下,我们验证了对称数据模型上的逻辑和多类交叉熵损失,我们得出了迭代的显式界限,而不仅仅是损失,涵盖了不稳定和稳定的状态,并揭示了后者的三相阻尼结构。我们的分析进一步揭示了由大步长引起的瞬态隐式偏差:尽管 GD 渐近收敛到最大裕度方向,但大步长可能会留下持久的正交残差,并且在某些几何形状中会放大它们,从而影响与最大裕度方向的有限时间对齐。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱