从 Pass@K 和 Pass@1 之间的差距中学习

arXiv:2609.35793v1 公告类型：新 摘要：大型语言模型 (LLM) 越来越多地通过可验证奖励 (RLVR) 的强化学习进行训练。精确验证器还可以通过从多个样本中选择通过的响应来支持测试时间缩放，而其他部署则使用波束搜索、自适应采样或工具。我们研究单样本解码，其中每个查询在没有搜索的情况下接收一个响应，以询问搜索暴露的行为是否可以吸收到模型中。现有的经过验证的响应后训练方法通常无法区分第一次解码时已经解决的问题和 K 个样本中恢复的故障。在固定预算下，这可能会花费示例重复已部署策略已经具有的行为。我们引入了 GapFT，它通过源检查点的单样本结果来选择训练证据，并对 Pass@K-Pass@1 差距进行微调：策略在一个样本上失败但在 K 个样本内解决的问题。我们匹配训练示例、处理的标记和优化器步骤，同时保持目标不变。 GapFT 用已恢复的故障填充匹配的预算，并使用精确分解来区分已恢复和错过的故障的校正与首次解码成功的回归。在 LogiQA 2.0 和使用 Llama-3.1-8B 的 ReClor 上，GapFT 将 Pass@1 比源模型提高了 14.4 和 13.9 个点，在相同学习率下优于预算匹配的统一验证 RFT，并使用三分之一的数据在完整验证池上进行微调。单个解码与源模型的验证者选择的 Pass@4 精度相匹配。随机控制将收益归因于覆盖不同的故障，并且我们的分析将可用收益与可转移故障支持联系起来。三种子 Qwen2.5-7B 复制在两个逻辑任务上都比统一 RFT 保留了积极的收益。