智能AI
morning
具有相关噪声的 DP-SGD 训练的 Kolmogorov-Arnold 网络的总体风险界限
2026-05-14
1 阅读
Puyu Wang, Jan Schuchardt, Nikita Kalinin, Junyu Zhou, Sophie Fellenz, Christoph Lampert, Marius Kloft
arXiv:2605.12648v1 公告类型：新 摘要：我们为采用梯度裁剪的小批量 SGD 训练的 Kolmogorov-Arnold 网络（KAN）建立了第一个总体风险界限，涵盖非私有 SGD 以及差分私有 SGD（DP-SGD），其中高斯扰动在独立噪声和时间相关噪声之间进行插值。这种设置比之前的 KAN 理论在两个轴上更接近实践：训练是通过小批量 SGD（现代网络的标准配方）进行的，而不是全批量梯度下降（GD）；经验表明，相关噪声机制比独立噪声机制具有更有利的隐私与效用权衡。我们的结果涵盖了 Wang 等人针对 KAN 的相应全批次 GD 和独立噪声 DP-GD 结果。 （2026），同时产生更清晰的固定第二层专业化。技术核心是非凸机制下相关噪声DP训练的新分析路线。时间依赖性打破了标准单步 SGD 参数背后的条件中心结构，并且投影步骤阻碍了相关扰动的精确消除结构。我们通过辅助未投影动态、吸收当前噪声扰动的移位迭代以及证明投影不活动的高概率引导程序来解决这些困难。将此优化分析与基于稳定性的泛化论证相结合，得出规定的群体风险界限。据我们所知，这是凸学习之外的 DP 训练相关噪声机制的首次优化和总体风险分析，特别是对于神经网络。