量化记忆到泛化的转变：Grokking 中的尺​​度法则和阶段结构

arXiv:2609.10657v1 公告类型：新 摘要：经过记忆训练的神经网络经常会经历延迟过渡到泛化，这种现象被称为“摸索”。尽管在 \emph{为什么} 这种转变发生方面取得了理论进展，但 \emph{何时} 在超参数空间中发生的定量结构仍然没有特征。我们在模运算上将两隐藏层 MLP 的 384 个配置的记忆到泛化边界映射起来，拟合泛化起始时间的幂律缩放关系： $T_{\mathrm{grok}} \propto H^{-0.27}\, D^{-2.04}\, \eta^{-0.50}\, \lambda^{-0.64}$ ($R^2 = 0.732$；互动 0.821$）。指数层次结构表明，数据复杂性 ($D^{-2.04}$) 是状态转换的主要驱动因素，而不是模型容量 ($H^{-0.27}$)：数据加倍可将泛化速度加快 ${\sim}4\times$，而宽度加倍仅产生 ${\sim}1.2\times$。权重衰减 $\lambda \gtrsim 1.0$ 处的尖锐相界将 grokking 与非 grokking 配置分开，并且权重范数轨迹在过渡期间显示单调压缩，与选择低复杂度解决方案的隐式正则化一致。这些结果为预测和控制过度参数化网络中的状态转换提供了定量基础。