相同答案，新框：RLVR 的域外增益有多少是答案格式？

arXiv:2610.20639v1 公告类型：新 摘要：具有可验证奖励的强化学习 (RLVR) 被认为具有超出其奖励检查领域的收益，例如在数学训练后更高的 MMLU 准确性。这种准确性通常由答案提取器从模型的文本中读出。因此，学习在提取器所看到的地方写下答案的模型可以在不回答更好的情况下获得更高的分数。我们衡量从公共代码复制的提取器报告的收益有多少是通过这种方式产生的。我们从基本模型及其 RL 模型生成输出，并对它们进行两次评分：使用这些提取器，以及使用我们自己的一个提取器读取规定的答案，无论它是在答案框 \boxed{} 中还是在文本中。在四个已发布的 7B SimpleRL 基础强化学习对中，这些提取器报告的域外多项选择增益的 82% 在我们的下消失了：这是答案格式的增益，而不是答案的增益。基本模型已经以文本形式陈述了大部分答案，强化学习将它们移动到这些提取器首先查看的框中。独立的法学硕士读者（代替我们的提取者）得出的数字为 77%。当提示本身要求该盒子时，我们的提取器将其设置为 79%。在使用另一种配方训练的 32B 对上，几乎没有报告的增益是格式增益：它的基本模型在被询问时会给出答案，而它的 RL 模型很少会在没有询问时给出答案。报告的增益部分是读取它的提取器的属性，并且使用第二个提取器对存储的输出重新评分可以显示多少增益，而无需重新运行 RL。