矩估计的信赖域框架

摘要

arXiv:2608.04026v1 Announce Type: new Abstract: In this paper, we develop a trust-region framework for understanding the behavior of adaptive moment estimation mechanisms, such as \textsc{Adam}, in st...

moment trust region the estimation this framework and realization for

2026-08-06 1 阅读约1分钟阅读 Oluwasegun A. Somefun

arXiv:2608.04026v1 公告类型：新摘要：在本文中，我们开发了一个信任域框架，用于理解随机梯度优化中自适应矩估计机制（例如 \textsc{Adam}）的行为。具体来说，在这个框架中，每个单独权重的更新步骤的大小被限制在由 $p\in[2,4]$ 阶矩约束控制的信任区域内。由此产生的推导得出一系列基于二阶矩估计和标准化 $p$ 矩估计的学习率机制。当$p=4$时，这涉及类峰度估计。通用机制称为 \textsc{Gmake}，通过矩估计、学习率调度、作为动量的频谱低通滤波以及公共信任域框架内的操作员级频谱归一化来提供归一化的统一解释。在 FineWeb-Edu 和 TinyStories 上训练的 GPT2-124M 实验表明，当信任域约束较弱时，第四矩实现提供了最大的好处。随着逐渐增强的信任域控制的引入，第二时刻的实现变得越来越有竞争力，通常比相应的第四时刻的实现实现略低的验证损失。

订阅66必读