智能AI
morning
视觉网络中的分层学习率缩放:有效率识别、幂均值聚合和预算依赖性
2026-11-18
1 阅读
约1分钟阅读
Chandini Vysyaraju, Raghuvir Duvvuri, Radu Timofte, Dmitry Ignatov
字号:
arXiv:2611.21696v1 公告类型:新 摘要:分层学习率缩放为网络的不同部分分配不同的学习率。尽管是在微调预训练模型中建立的,但它在从头开始训练的视觉网络中的效果通常是通过训练每个候选配方来评估的。我们表明,在这种情况下,分层策略的速率相关部分可以通过可直接从其乘数曲线计算的有效学习率来很好地概括。在匹配控制比较中,测试准确度的变化密切跟踪训练损失的变化(r = -0.996),这支持了短期预算率效应的优化进度解释。将未调整的基础学习率提高十倍,使所有六种测试架构中的速率匹配对比度向上移动(p = 0.016),并增加了已发布的判别性时间表(从模型拟合中排除)优于统一控制的架构数量,从六种架构中的二种到五种(p = 0.031)。在评估的策略空间内,指数为 0.35(95% 置信区间 [0.20, 0.50])的参数加权功效均值占架构内方差的 42.6%,而算术平均值为 36.4%。在未经训练的情况下按此标量对候选者进行排名可将所选候选者的平均百分位数排名从第 26 位提高到第 10 位,并将其相对于最佳候选者的平均准确度差距从 3.70 分减少到 1.12 分。随着培训预算的增加,与速率相关的效应会减弱;相对于调整后的基线,总体策略效果在三种架构中的两种中落在预先指定的实际等效裕度内。尽管其方向和大小取决于架构,但与分组相关的单独对比可以在长期预算中持续存在。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱