啄木鸟蒸馏：弱模型诊断强模型中的推理错误

arXiv:2608.05168v1 公告类型：新 摘要：大型语言模型尽管具有解决推理任务的能力，但在推理任务上经常失败。我们认为，许多此类失败源于中间步骤中的局部推理错误，而不是全局无能。我们证明这些错误通常是可以修复的：在相同的强模型推理前缀之后插入由弱探测模型生成的短补丁可以将轨迹重定向到正确的解决方案。然而，这种纠正效果并不能通过直接对薄弱补丁或修复轨迹进行微调来可靠地内化，这表明有用的信号不在于干预文本本身，而在于它如何重塑模型的未来推理分布。因此，我们提出啄木鸟蒸馏，这是一种从弱到强的训练框架，可以从对比的当地干预措施中学习。我们的方法对比相同前缀的成功和不成功的弱模型补丁，根据其诱导的未来标记预测构建校正教师分布，并将该信号提炼到强模型中。数学推理基准实验表明，啄木鸟蒸馏持续提高了强模型性能，并且优于直接模仿基准。