大模型预训练中的"又稳又快"：SSO 如何统一训练稳定性与训练效率？

（本文阅读时间：12 分钟） 大模型预训练一直是一件"既要又要"的事情：既希望训练稳定、可持续扩展，又希望训练效率达到极致。这一过程就像“戴着镣铐跳舞”，既要满足各种约束，又要尽可能发挥模型潜力，无疑是一门兼具理论与工程之美的 AI 艺术。 近日，微软亚洲研究院的研究员们提出了一个全新的优化器Spectral Sphere Optimizer（SSO）。该工作从 μP（Maximal Update Parametrization）理论出发， 首次将训练稳定性与最速下降目标统一到同一个理论框架中，推导出了兼顾稳定性与训练效率的唯一数学解 。在工程实现上，SSO 通过谱球约束、切空间更新与谱球回缩等设计，在无需依赖 Weight Decay 等传统稳定化技巧的情况下，实现了更加稳定、高效的大模型预训练。 相关论文已被ICML 2026作为Oral工作接收 。 论文信息已整理至文末，欢迎点击相关链接，了解更多技术详情。 什么才是真正的训练稳定性？ " 快 " 其实很好定义——让 Loss 下降得最快即可，也就是经典的最速下降（ steepest descent ）。真正困难的是， " 稳 " 究竟应该如何定义？ 研究员们认为，从根本上讲，可持续、可扩展的稳定性，应当来自模型自身的 " 健康指标 " 。如果模型所有层的输入输出始终保持统一的尺度，并且这一尺度与层的形状无关，那么激活值（ activation ）才真正达到了稳定。 事实上，这正是经典 μ P 理论所描述的性质。满足 μ P 后，模型即使扩展到任意宽度，也能够保持一致的训练动态，并带来许多重要优势，例如：小模型搜索得到的学习率等超参数，可以直接迁移至更大的模型；无需重新调参即可完成模型扩展；可以用于拟合规模法则（ scaling law ），并预测模型最终能够达到的最优 Loss 。 一句话概括，本篇论文从μ P 理论作为稳定性最佳度量这一视角出发，推导出了使 Loss 最速下降的优化器，而 SSO 正是这一问题唯一的数学解。 图 1 ： Dense-1.7B 模型激活值在训练过程中的变化趋势 为什么需要谱球约束？ 那么，在 SSO 出现之前，人们是如何保证大模型训练稳定性的？ 方法其实很多。最常见的是 AdamW 引入的 Decoupled Weight Decay （解耦式权重衰减）。它通过不断将权重向 0 拉近来稳定训练，但这也会导致相对更新量（Δ w/w ）不断变化，并与学习率耦合，从而带来复杂且难以分析的训练动态。因此，学术界又提出了各种 Weight Decay Scheduler （权重衰减调度策略），希望进一步改善这一问题。 本质上， " 权重往 0 拉 " 与学习率始终处于一种博弈关系。虽然理论上能够给出权重上界（约为 1/ λ），但实际训练过程中仍然容易出现各种不稳定现象。 另一方面，各种初始化技巧也无法从根本上解决问题，因为随着训练不断进行，权重最终都会逐渐偏离初始化尺度。 除此之外，还有大量依赖架构设计的稳定化技巧，例如， QK-Norm 用于稳定 Attention Logits ， Sandwich Norm 用于同时约束输入与输出尺度。这些方法虽然能够提升稳定性，却往往需要额外调参，甚至可能牺牲模型能力上限，并不是一种足够优雅的解决方案。 因此，研究员们希望找到一种更加统一的方法：既能够摆脱 Weight Decay （权重衰减），又能够尽可能地减少额外的 Norm 设计。 从 μP 理论推导唯一数学解 如果希望模型激活值满足 μ P 理论，那么前向传播中的权重 W ，以及反向传播中的更新量 Φ = Δ W ，都必须满足： 其中谱范数定义为： 研究员们发现，μ P 理论实际上天然要求权重和更新都位于谱范数球（ Spectral Sphere ）的球面上。 进一步观察还发现， Muon 优化器的更新规则恰好满足了 μ P 理论中的后一条要求，即约束更新量的谱范数。这一巧合也启发研究员们思考：如果能够同时满足 μ P 理论的全部要求，是否能够得到一个更加理想的优化器？ 既然通过谱球约束已经保证了稳定性，接下来需要解决的问题，就是如何在这一约束下，使 Loss 下降得最快。 Loss 是关于权重 W 的函数。研究员们首先在当前权重处对 Loss 做一阶泰勒展开，从而得到最速下降对应的更新量 Φ： 结合前述谱球约束，并将谱球半径记为： 便可以得到兼顾 " 又稳又快 " 的优化目标： 这里，更新量的谱范数约束写成 1 ，是因为此处考虑的是单位更新，实际训练时半径 R 可以直接吸收到学习率（ learning rate ）中。 让更新始终贴着球面下降 接下来，要对上述优化目标继续化简。研究员们首先将最后两式相减，可得到： 其中， 表示当前权重在谱球面上的梯度方向，也就是谱球面的法向方向。 为了使上式恒成立，则需要满足： 这意味着，更新方向必须始终位于谱球的切空间（ tangent space ）内。 从几何角度理解，就是更新始终贴着球面下降，而不是直接向球心收缩。这样既能够保持权重一直位于谱球面上，又不会损失梯度在法向方向上的有效信息。 于是，整个问题便转化为一个经典的线性优化问题： 研究员们进一步采用拉格朗日乘子法进行求解，构造拉格朗日函数： 约束条件为 图2： SSO 中拉格朗日函数 h ( λ ) 的理论性质。由于 h ( λ ) 单调不减且零点位于有界区间内，因此可以通过二分搜索高效求解唯一的拉格朗日乘子 λ ⋆ 。 最终便可得到最速下降对应的最优更新 ，其中拉格朗日乘子 满足 与 Muon 对比，可以更直观地理解这一结果。 Muon 的更新规则为： 而 SSO 则引入了一个微扰项： 使更新方向能够严格投影到谱球切空间，从而在满足 μ P 理论约束的同时，实现真正意义上的最速下降。 除了上述代数推导之外，本篇论文还给出了对应的几何解释，使整个优化过程具有更加直观的物理意义。 图3 ：最速下降更新方向的几何结构 如何让 SSO 高效运行 进一步观察还能发现，拉格朗日函数 h( λ ) 单调递增，并且其零点有界，但目前尚未找到解析解，因此实际求解仍需要借助数值迭代。最直接的方法就是二分搜索，而 SSO 的实现也正是采用了这一策略。 研究员们还观察到，λ 的形式似乎可以写成一个仅依赖梯度 G 的均值（ mean ）和标准差（ std ）的数学表达式，而与当前权重 W 无关。不过，目前这一结论尚未完成严格证明，因此论文只给出了一个较宽松的理论界，也期待未来进一步完善。 图4 ：随机矩阵条件下 h(λ)= ⟨ Θ,msign(G+λΘ) ⟩ 的经验曲线 至此， SSO 的理论推导已经基本完成。其本质上就是一个满足双谱球约束的最速下降问题。借助拉格朗日函数单调且零点有界这一关键观察，通过二分搜索即可求得拉格朗日乘子，进而得到实际更新方向。 不过，在实际工程训练中，只依赖一阶切空间更新，经过长时间训练后仍可能不断累积数值误差，使权重的谱范数逐渐偏离目标谱球。因此， SSO 引入了一步简单而有效的谱球回缩（ Spectral Retraction ）： 即对整个权重矩阵进行统一缩放，使其最大奇异值始终保持为目标半径 R ，