智能AI
morning
Adam离自然梯度下降还有多远？
摘要
arXiv:2610.00004v1 Announce Type: new Abstract: Adam is the standard optimizer in deep learning, yet its geometric relationship to natural gradient descent (NGD) contains unresolved questions. We stud...
Adam
the
geometric
empirical
Fisher
and
conditioned
regression
standard
natural
2026-10-02
1 阅读
约1分钟阅读
Vihaan Paka-Hegde
字号:
arXiv:2610.00004v1 公告类型：新 摘要：Adam 是深度学习中的标准优化器，但其与自然梯度下降（NGD）的几何关系包含未解决的问题。我们研究 Adam 的完整更新规则，包括动量，作为对角线经验费希尔近似，受到对角线截断、经验标签替换和时间滞后的影响。使用尺度不变的 $\gamma(\Delta\theta)$ 度量，我们测量了 Adam 在四种损失情况下与真实 NGD 的几何偏差：良条件线性回归、病态线性回归、逻辑回归和非凸小型神经网络。 Adam 的几何轨迹取决于上下文。在条件良好的情况下，偏差仍然很低，但在条件不良的情况下，偏差会显着上升，在神经网络中达到 $\approx 10^3$ 的错位。较高的几何漂移与较慢的初始优化相关，但不会降低最终目标最小化； Adam 始终达到低损失。此外，改进的经验 Fisher (iEF) 比标准经验 Fisher (EF) 跟踪更稳定的路径，后者经常振荡或发散。我们的结果表明 Adam 的实际优化能力可能源于结构近似误差和动量平滑的平衡，而不是密切跟踪自然梯度路径。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱