当预处理指数变为负值时：学习率耦合和跨环境泛化

arXiv:2609.30271v1 公告类型：新 摘要：自适应优化器通常通过二阶矩估计的固定幂进行参数化。现有的部分自适应方法研究类动量更新和标准 Adam 平方根之间的指数，而该指数与全局学习率之间的相互作用尚不清楚。我们使用具有稳定稀疏特征、环境相关的虚假稀疏特征、密集特征和高维噪声的配对四环境分类问题来进行受控跨环境研究。在涵盖 21 个预处理指数 $p\in[-0.5,0.5]$ 和五个学习率 $\eta\in[10^{-4},10^{-2}]$ 的 \NumRuns{} 源训练运行中，我们发现指数最大化跨环境精度几乎与 $\log_{10}\eta$ 呈线性下降。拟合斜率范围从 $-0.270$ 到 $-0.300$，$R^2$ 在 $0.972$ 到 $0.996$ 之间。在 $\eta=10^{-2}$ 时，源验证选择在所有四种环境中仍然更喜欢正指数，而跨环境和最坏环境标准更喜欢负指数。检查点分解表明，较低的 $p$ 会降低学习到的杂散与稳定以及噪声与稳定的权重比；在反向相关下，它还降低了有害杂散裕度的幅度。因此，负 $p$ 并不是普遍最佳的设置。它是学习率和预处理共同作用产生的高步长分配机制。该研究还暴露了模型选择冲突：源域验证系统地选择一种不同的预处理方案，以最大限度地提高对环境变化的鲁棒性。结果是一项单种子、有限预算机制研究，而不是广泛的基准主张。