GRAPE：用于紧凑对抗鲁棒性的引导参数空间演化

arXiv:2606.14865v1 公告类型：新 摘要：对抗训练（AT）提高了神经网络的鲁棒性，但大多数方法从一开始就训练固定的参数空间。本文询问即使最终架构或计算预算受到控制，参数可优化的顺序是否会影响最终的鲁棒解决方案。我们提出了 GRAPE（引导参数空间进化），这是一种用于紧凑对抗鲁棒性的训练框架。 GRAPE将参数空间稳定与渐进隐藏扩展相结合：它稳定了当前暴露空间中的鲁棒优化，逐渐释放新的可优化维度，并使用对抗性频谱利用率分数来引导新释放的容量流向高压模块。与固定结构 AT 相比，GRAPE 将鲁棒模型学习视为渐进的参数空间暴露和演化的过程。在 CIFAR-10 上的标准 $\ell_\infty$ 威胁模型下，以固定结构 ResNet-18 AT 作为受控参考，GRAPE 将 PGD-20 鲁棒精度从 51.70% 提高到 56.94%，计算预算几乎匹配，FLOPs 比率为 1.009x，同时减少了约 21.4% 的参数数量。具有相同最终 ResNet-18 架构的顺序增长变体达到了 56.52% PGD-20 鲁棒精度，表明增益不仅归因于最终架构差异，还归因于参数空间暴露路径。这些结果表明，引导参数空间演化可以在匹配计算下产生紧凑且鲁棒的参数配置。