新兴的低维拓扑动力学决定了十亿参数神经网络中的泛化和逃逸机制

arXiv:2611.08502v1 公告类型：新 摘要：现代超参数化神经网络的显着泛化挑战了经典统计学习的界限。在这里，我们确定十亿参数模型中的优化轨迹不会均匀地采样环境维度 $\mathbb{R}^N$ ；相反，它们被动态地约束到低维执行子流形 $\mathcal{M}_{\text{exec}}$ （根据经验观察到的有效维度 $d_{\text{eff}} \le 12$）。通过为参数空间配备正则化的 Hessian 度量 $g_{ij} = \nabla_i \nabla_j L + \epsilon \delta_{ij}$ 并分析损失子级别集上的随机 Langevin 扩散，我们得出了基于投影子空间持久同源性的严格拓扑泛化界限。此外，通过将莫尔斯索引转换与贝蒂数湮灭（$\beta_1 \to 0$）联系起来，我们制定了一种精确的数学机制，用于在各向异性噪声下从严格鞍点中指数逃逸。我们在 80 多种架构（ResNet、Vision Transformers 和 7B LLM）中验证了我们的框架。为了将理论拓扑与计算可行性联系起来，我们通过严格限制在活动 Hessian 子空间内的随机 Lanczos 迭代来计算投影持久同源代理，从而解决了维数灾难。在此数学基础上，我们引入了拓扑自适应优化（Top-SGD 和 Top-AdamW）——一系列使用主动曲率签名动态调节学习率的包装算法。广泛的基准测试表明，在充分考虑所有计算和内存开销的情况下，ImageNet 上的总挂钟训练时间减少了 14.1%。代码可在 https://github.com/imslab-research/Topological-SGD 上公开获取。