从弱到强的同政策蒸馏

arXiv:2607.26246v1 公告类型：新 摘要：在策略蒸馏 (OPD) 使学生与教师在学生自己的部署中的代币级别分布保持一致，是跨法学硕士转移能力的有效范例。流行的方法假设教师至少与学生一样有能力：他们要么将较大的模型提炼为较小的模型，这在不存在较大教师的前沿会失败，要么整合从共享基础训练的多个领域专家，这需要在学生规模上进行昂贵的培训。我们引入了从弱到强的策略蒸馏（W2S-OPD），这是一个简单而有效的 OPD 框架，它通过从多个弱模型中蒸馏来提高强学生。 W2S-OPD 根据正负模型的对比对在 logit 空间中构建代理教师，该代理教师比学生小且获取成本低廉。它们的逻辑差异隔离了能力方向，该能力方向被添加到学生自己的基础模型中，产生一个代理教师，该代理教师将这个方向耦合起来，同时保持与学生的分布相邻。然后，学生通过在其自己的推出中最小化每个代币的反向 KL 来提炼它。我们将对比对实例化为 i) 强化学习后专家与其强化学习前初始化，隔离强化学习灌输的技能，ii) 较大的基础模型与较小的基础模型，将能力与规模隔离，以及 iii) 具有正确与错误提示的小型基础模型，隔离解决方案的实例级方向。在四个数学和三个代码基准测试中，W2S-OPD 优于 OPD，使学生能够超越领域教师，并且即使在每个监督源较弱的情况下也能不断提高学生。分析表明，不同的对比会产生不同的信号：强化学习后和提示对比强调推理框架，而尺度对比则强调解决过程。我们的代码将在 https://github.com/Yu-Fangxu/W2S-OPD 提供。