对称商平坦度和泛化

arXiv:2609.31634v1 公告类型：新 摘要：本文在对称商设置中开发了一个定理级管道：商线性稳定性意味着商平坦度，商平坦度意味着输入平滑度，输入平滑度在局部覆盖假设下产生泛化。平坦度通常与泛化相关，而随机梯度下降 (SGD) 通常被视为隐含地偏向平坦解决方案。然而，标准平坦度度量通常是在原始参数空间中定义的，因此在函数保持对称性（例如正重缩放）下不是不变的。我们开发了商平坦度、商线性稳定性、输入平滑度和神经网络参数商空间泛化的对称感知理论。对于平方损失和具有保函数群作用的模型，我们将商平坦度定义为正则商流形上经验损失的 Hessian 迹。我们证明商平坦度通过平坦度到平滑度论证的商空间模拟来控制输入平滑度。我们还证明了线性化 SGD 动力学的一步均方商线性稳定性意味着在批量大小和学习率方面存在显式的商平坦度界限，并将这一分析扩展到高阶张量矩。最后，在局部覆盖和有界性假设下，我们根据商平坦度以及商线性稳定性得出总体泛化界限。