用于高效后训练和仅答案数据验证的逆向推理模型

arXiv:2610.18878v1 公告类型：新 摘要：训练后推理 LLM 通常需要在昂贵的监督和计算效率低下之间进行权衡：监督微调通常需要推理跟踪，这是数据效率低下的，因为在许多应用程序中只有提示答案元组，缺乏真实的思想链 (CoT) 序列。另一方面，强化学习（例如，具有可验证的奖励）可以在没有 CoT 数据的情况下运行，但它的计算效率要低得多，因为它需要每个优化步骤进行多次自回归完成，而其中任何一个都不能保证给出非零的策略梯度。在这项工作中，我们探索了一个中间地带，一种使用纯答案数据的自蒸馏技术，将 CoT 视为潜在变量。这依赖于训练合作伙伴“逆向推理 LLM”，该逆向模型会根据答案生成原始推理轨迹。逆向模型经过一次训练，然后在传入的仅答案数据批次中重复使用，所有生成都在离线和预先进行，使得该方法特别适合持续的后期训练。在倒计时和 GSM8K 任务上使用 Qwen3-0.6B，我们表明，在 GRPO 训练饱和后，逆向模型的单个离线蒸馏轮在硬提示上，pass@1 大约加倍，并且在倒计时，在每个混合比例的每个硬尾指标上，其性能都优于拒绝采样自蒸馏（GSM8K 上的拒绝采样增益较小）；对于模型无法自行解决的问题，持续的 GRPO 在硬pass@1 上保留了优势，但在每一步都重新生成的同时，在 pass@8 和 pass@32 上落后于蒸馏。逆模型有第二个应用程序作为正确性的准确验证器，当在测试时用于 best-of-n$ 选择时，它将倒计时的选择精度从 0.753（多数投票）提高到 0.969。