首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

OPD训练也能无损加速?STOPD最高加速2.2倍!

2026-11-19 1 阅读 约10分钟阅读 机器之心
分享:
字号:
On-policy distillation(OPD)的做法很简单:先让学生自己生成回答,再由教师逐 token 提供反馈,指导学生更新。这样教师就能直接针对学生实际生成的内容进行指导,而不必依赖预先准备好的答案。问题在于,每一轮训练都需要学生生成完整的回答,之后教师还要对每个位置进行评估。随着回答变长,训练成本也会越来越大。 因此,我们提出了 STOPD:在生成前随机选好停止位置,然后让部分学生回答提前结束,最后再通过逆概率加权补偿截断带来的采样偏差。整个过程不需要评估回答质量,也不需要额外调用模型来判断何时停止。 在我们的实验中,STOPD 在准确率与 Vanilla OPD 相近的情况下,减少了 25%–48% 的生成 token ,实现了 1.3–2.2 倍训练加速 。在理论上,我们还额外证明了加权后的梯度总和在期望上与完整生成一致,并给出了 SGD、Adam 和 Muon 下的单步更新误差界。 图 1|STOPD 的方法与实验结果。 论文: https://arxiv.org/abs/2610.21337 代码: https://github.com/YouAreSpecialToMe/STOPD Hugging Face: https://huggingface.co/papers/2610.21337 已有方法如何减少计算 减少 OPD 开销通常有两种做法。 一种是 稀疏监督 :学生仍然生成完整的回答,但只选择部分 token 参与训练。这样的话如何选出值得监督的 token 就成了关键。有的方法关注学生在哪些位置更需要指导,比如 TIP [1] 根据学生的不确定性和师生分歧进行选择。有的方法关注教师的指导能否被学生有效吸收,比如 TA-OPD [2] 考虑教师信号的可学习性。还有的方法关注训练信号本身是否可靠,例如 IER [3] 考虑梯度估计的可靠性。这些方法虽然选择标准不同,但都通过减少了需要监督的 token 数量的方法削减了开销。 另一种是 直接截断生成 。最简单的做法是直接限制生成长度,比如 Early Stopping Rollout(ESR)[4] 只保留固定长度的前缀。在此基础上,Progressive OPD(POPD)[7] 进一步考虑训练进度,让生成长度随着训练逐步增加。除了预先设定长度规则,也有方法利用师生反馈动态调整生成过程。比如 Prune-OPD [5] 根据预测重叠度调整后缀权重和生成预算,而 KAT [6] 则在师生 KL 持续较低时提前停止生成。 截断虽然能直接省下生成计算却让被截掉的位置不再贡献梯度。如果不加以补偿,得到的期望梯度就不再与 Vanilla OPD 一致。而如何选择截断位置,同样是个问题。如果始终保留固定长度的前缀,回答后部就无法得到监督。如果根据师生反馈动态决定何时停止,又需要判断后续的监督是否还有保留的价值。 图 2|稀疏监督与截断生成的区别。 STOPD 怎么做 我们先考虑一种最简单的随机截断方式:在每条回答开始前,我们都会独立地均匀采样一个停止位置。生成过程会在到达该位置时停止,除非学生此前已经自然结束回答。对于被截断的部分,我们不再生成后续 token,也不再计算相应的教师反馈和训练损失。 不过,直接截断会带来两个问题。首先,这样做会让靠前的位置更常被保留,靠后的位置则更容易被遗漏。如果直接使用保留下来的损失,期望梯度就不再与完整生成一致。一个自然的解决办法是使用 逆概率加权(IPW) ,将每个 token 的损失乘以其保留概率 p 的倒数,从而补偿截断带来的采样偏差。 但这又引出了第二个问题:尾部 token 的补偿权重可能变得非常大。以最大生成长度 16,384 为例,最后一个 token 被保留的概率只有 1/16,384,而一旦被保留,就会获得高达 16,384 的权重。 因此我们加入了 分 块截 断 :先把最大长度内的位置划分成等宽的连续块,抽中某个位置后,生成到它所在块的末尾再停。块内后部位置的保留概率随之提高,最大权重也降下来。例如,最大长度为 16,384、块宽为 128 时,最大权重从 16,384 降到 128。 将随机截断、逆概率加权和分块截断结合起来,就得到了我们的 STOPD。 动图|随机截断,以及各位置的加权贡献。 为什么梯度总和无偏 我们可以用一个简单的例子来说明。假设在一条完整回答中,某个 token 的梯度贡献为 g,而它有四分之一的概率在随机阶段后被保留。按照 STOPD 的加权方式,如果这个 token 被保留,它的贡献就会变成 4g,否则贡献为零。对随机停止位置取期望,我们就有 也就是说经过加权后,每个位置的期望梯度贡献都与完整生成时一致。将所有位置的贡献相加,就能恢复完整回答的期望梯度总和。 除此之外,我们还分析了实际训练中的损失归一化,以及 SGD、Adam 和 Muon 三种优化器如何将梯度转化为参数更新,并给出了相应的单步更新误差界。 主实验结果 我们用 Qwen3-4B-Instruct-2507 作为教师、Qwen3-1.7B-Base 作为学生,在数学、代码和指令遵循上比较 STOPD 与 Vanilla OPD。 两种方法在训练过程中呈现出相似的蒸馏损失变化趋势,在第 250 步的评最终测结果也十分接近。具体来说,Vanilla OPD 与 STOPD 在数学任务上的平均准确率分别为 30.1% 和 29.4%,代码任务上的平均通过率分别为 28.5% 和 28.1%,指令遵循任务上的准确率则分别为 59.8% 和 60.1%。 对应的计算节省是: 数学:训练加速 1.8 倍 ,生成 token 减少 34% 。 代码:训练加速 2.2 倍 ,生成 token 减少 48% 。 指令遵循:训练加速 1.3 倍 ,生成 token 减少 25% 。 图 3|三个领域的准确率、训练加速与训练动态。 更大的模型 我们进一步将教师模型换成 Qwen3-30B-A3B-Instruct-2507,并将学生模型扩大到 4B 和 8B。在这两个规模上STOPD 的准确率仍与 Vanilla OPD 接近,损失曲线也保持着相似的变化趋势。与此同时,生成 token 分别减少了 35% 和 33% ,训练速度则提升至 1.8 倍 和 1.7 倍 。 图 4|4B 和 8B 学生模型上的结果。 换用 SGD 和 Muon 除了模型规模,我们还考察了 STOPD 在不同优化器下的表现。在数学任务上,将 AdamW 换成 SGD 和 Muon 后,STOPD 依然实现了 2.2 倍 和 1.9 倍 的训练加速,准确率也与 Vanilla OPD 保持接近。具体来说,使用 SGD 时,两者的最终准确率分别为 25.2% 和 25.1%。使用 Muon 时则分别为 29.5% 和 29.8%。 图 5|AdamW、SGD 和 Muon 下的准确率与训练动态。 Batch size 和块宽怎么选 随机截断会给训练带来额外的损失波动,而增大 batch size 可以缓解这一问题。由于每条回答的停止位置都是独立采样的,同一个 batch 中包含的回答越多,随机波动就越容易相互抵消。 可以
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱