Muon's Grokking 中的活性成分

arXiv:2607.20512v1 公告类型：新 摘要：Muon 优化器比 AdamW 更快地达到模块化算术的 grokking 阈值。先前的工作将其归因于“谱范数约束加上正交动量”，但没有隔离哪个机制重要。为了更好地理解 Moun 的行为，我们运行多种子和多学习率扫描来分解和压力测试效果。首先，消融显示加速来自正交化（牛顿-舒尔茨迭代）：仅正交化匹配完整的 Muon，而仅频谱不比 AdamW 快并且不可靠，并且该结论在学习率中成立。其次，机械分析发现，正交优化器以大约 3 倍的低谱范数达到泛化，并且控制嵌入实际移动的量，形成较低范数的解决方案，而不是简单地减少对嵌入的扰动。第三，将 Newton-Schulz 迭代次数从 5 减少到 1 可以加速达到阈值，但会使 grokked 解决方案变得脆弱，容易出现瞬时崩溃，并且脆弱性随着学习速率的增加而增加；单次迭代仅在较小的学习率下才快速且稳定，而规范的五次迭代是学习率鲁棒的选择。我们还表明，无需测量成本即可降低光谱缩放。方法论线索贯穿始终：在稳定性感知指标下，关于 grokking 优化器的“更快”声明可能会发生逆转，因此我们报告了首次交叉和持续 grok 时间。为了支持可重复性，我们在 https://github.com/louiswang524/muon-grokking-frontier 发布了完整的训练和分析代码