正交梯度约束形状噪声标签记忆动力学

arXiv:2607.16231v1 公告类型：新 摘要：现代神经网络可以适应损坏的训练标签，使噪声标签学习成为研究记忆驱动的过度拟合的有用设置。大多数正则化方法都会修改目标、架构或数据分布；在这里，我们研究优化器更新本身的几何干预。我们评估 OrthoGrad，它在噪声标签图像分类中去除与当前权重向量平行的每个权重梯度的分量。在具有小数据机制的 MNIST 上，OrthoGrad 最明显地提高了 CNN 的测试准确性，同时减少了损坏的标签拟合。基于权重范数和梯度权重余弦相似性的机制诊断表明，当原始梯度包含非平凡的径向分量时，投影具有最强的效果，而在梯度已经几乎与权重正交的较大数据范围内，投影效果会变弱。其他 CIFAR-10 ResNet-18 实验表明，该方法可以改变记忆轨迹，但不能阻止最终的噪声标签记忆。这些结果支持正交更新约束作为研究学习动态的有用诊断，同时表明 OrthoGrad 是制度依赖性的，而不是普遍正则化的。