首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

模型退火:通过审查和整合进行数据高效学习

2026-11-16 1 阅读 约2分钟阅读 Ali Mohammadi Ruzbahani, Rezvan Abouzadeh
分享:
字号:
arXiv:2611.17524v1 公告类型:新摘要:在训练预算用完之前很久就记住了一个小的标记数据集,而仍然需要拟合的单热标签则主要增强了信心。模型退火将剩余的预算用于审查和巩固,从网络自身的知识中重新学习。训练分为几个阶段,学习率再次提高和冷却,每个冷却状态都加入过去的自我记忆,每个新阶段都从标签、该记忆的缓和预测以及学生和记忆最不一致的地方寻找的对抗性梦中学习。内存对预测而不是权重进行平均,并且部署的网络是最后一个学生,因此推理不需要额外的成本。在 CIFAR-100、Tiny-ImageNet 和 Imagewoof 这四个架构系列和 5\% 到 100\% 的标签中,模型退火将 AdamW 训练的 ConvNeXt、ViT 和 MLP-Mixer 在 33 个配置中的 28 个配置中的交叉熵训练中的 top-1 准确率平均提高了 1.3 个点,并且与最接近的竞争对手快照蒸馏的准确率相当。在这些家族中,它在可能性、校准以及对腐败和小对抗性扰动的鲁棒性方面都优于这两者。对于经过 SGD 训练的 ResNet-18,它降低了准确性,但仍然提高了对小对抗性扰动的鲁棒性。将重新加热的时间表与重新学习分开表明,重新学习对每个家庭都有帮助,并且损失来自重新加热,这会破坏该网络对其训练集的大部分适应性。交叉熵运行的准确度饱和的时间在很大程度上将 AdamW 系列与 ResNet-18 区分开来,但不能预测它们内部的增益。在数据很少的情况下,从没有梦想的最新快照中重新学习,就像快照蒸馏所做的那样,每一个事件都会加剧 AdamW 家族的过度自信。记忆和梦境各自抑制了大部分这种漂移,然后又一起将其消除。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱