智能AI
morning
语言模型训练中学习率的混合量子选择:终止标准和交互引导的调度预言机
2026-11-18
1 阅读
约1分钟阅读
Wei-Che Hung
字号:
arXiv:2611.21701v1 公告类型:新 摘要:学习率的选择强烈影响语言模型的微调,但跨层组的最佳联合配置文件通常是未知的。本文研究了混合经典量子训练框架内层组学习率选择的量子最小值发现。它将 Durr-Hoyer 最小发现与 BBHT 搜索相结合,并使用根据固定训练检查点测量的配置文件分数构建的查找预言机来比较固定预算和基于置信度的停止策略。然后,本文介绍了一种交互引导的调度预言机,它可以在没有预先计算的评分表的情况下以叠加方式对联合调度进行评分和标记。经典的一步损失测量提供了层组之间的主要、成对和三向相互作用效应。该电路添加每个时间表的效果,将所得分数与当前基线分数进行比较,并标记用于幅度放大的改进时间表。在接受之前,对经过衡量的候选人进行经典检查。统一率培训提供了初始基线;使用经典自适应方法的时间表作为联合细化的基线留待将来的工作。在 15 亿参数语言模型的闭环微调中,每个选定的计划都会驱动接下来的 200 个经典训练步骤。基准精度位于五个均匀速率种子观察到的范围内。结果给出了量子叠加如何支持训练期间自适应学习率选择的有效示例;论文中讨论了剩余的量子限制。
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱