智能AI
morning
Muon 与有限 Newton-Schulz：非平滑非凸优化中的平滑优势
摘要
arXiv:2608.26288v1 Announce Type: new Abstract: Muon has emerged as a strong optimizer for the matrix-valued parameters in large language model pretraining, approximately orthogonalizing its momentum ...
the
with
Newton
Schulz
Muon
for
nonconvex
finite
and
optimization
2026-08-28
1 阅读
约1分钟阅读
Mingyi Li, Taira Tsuchiya
字号:
arXiv:2608.26288v1 公告类型：新 摘要：Muon 已成为大型语言模型预训练中矩阵值参数的强大优化器，通过几次 Newton-Schulz 迭代使其动量近似正交。现有的理论要么用它所近似的精确极因子来代替该迭代，要么将其有限深度视为近似误差，因此 Muon 实际运行的迭代只会损害保证。我们证明有限 Newton-Schulz 反而有利于非平滑非凸优化。为此，我们通过在线到非凸的转换来分析 Muon，它将更新规则视为在线学习器，并将其遗憾约束转换为平稳性保证。有限牛顿-舒尔茨迭代将不连续极坐标图平滑为奇异值的利普希茨图，具有有限牛顿-舒尔茨的μ子可以被视为具有平滑谱势的在线学习器。这种平滑正是转换所需要的：我们证明，仅以目标精度对数增长的 Newton-Schulz 深度足以在非平滑非凸优化中收敛到驻点，而具有精确极更新的 Muon 可能无法收敛。生成的样本复杂度范围与非平滑非凸优化的最著名保证相匹配，并且对于取决于问题相关因素的平滑非凸优化而言是最佳的。该论点超出了牛顿-舒尔茨理论，扩展到具有相同平滑特性的一般谱图。
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱