归一化残差网络中的宽度缩放机制：有效对齐维度

arXiv:2607.24887v1 公告类型：新 摘要：现有的神经网络宽度理论描述了渐近极限，但对于从有限训练数据确定的扩展方向是否对未见过的数据仍然有益提供了有限的指导。我们研究这个问题的功能保留残差扩展，并引入有效对齐维数，这是一个描述激活梯度的信号噪声几何形状的可测量量。通过推导独立估计的训练梯度和测试梯度之间的内积的精确均值和方差，我们获得了错位概率的有限样本上限。该界限仅取决于有效对齐维数和有效样本大小，需要有限的二阶矩和非零总体梯度，没有协方差谱假设或规定的宽度增长率。我们将此证书集成到训练测试剩余扩展框架中，从而产生测试风险改进的高概率条件。宽度控制的 LLaMA 式 Transformer、Pythia 和 ResNet-20 的实验表明，更宽的模型表现出更大的有效对齐维度和更低的经验错位。直接残差干预确认对齐统计量可以预测保留损失变化的符号和幅度。