首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

校准决策奖励:与知道其确定性的法官一起训练语言模型

2026-11-20 1 阅读 约2分钟阅读 Rudransh Agnihotri, Manasvi Kapoor
分享:
字号:
arXiv:2611.25135v1 公告类型:新 摘要:强化学习(RL)只能教授语言模型其奖励可以识别的内容。答案检查器是准确的,但需要参考答案;学习奖励模型和法学硕士法官到处都有,但他们的分数不是概率。我们研究 RLCDR(校准决策奖励强化学习)。转换为决策模型的法学硕士用概率分布回答有关响应的键入问题(“最终答案是否正确?”,“哪一步是第一个错误?”),在一次前向传递中读取,对选项订单进行去偏,并使用大约一百个标签进行校准。在 MATH 上使用 GRPO 训练 Qwen3-1.7B,这种无参考奖励将 MATH500 准确率从 72.2% 提高到 76.8%(+4.65 分,p < 1e-4),匹配答案键的训练 (76.9%),而随机奖励仅获得 +0.65。增益增长困难,从最难级别的 44.8% 增加到 51.7%。在策略自身变化的样本上,奖励保持校准:其预期校准误差是同一 27B 主干上的 softmax 判断误差的一半(0.074 与 0.141),并且没有显示奖励黑客的迹象。如果没有步骤训练,相同的模型比专用的 7B 过程奖励模型(ProcessBench F1 0.772 vs. 0.722,20/20 分割)更好地发现第一个错误步骤。我们还绘制了该方法在哪里不够用的地方:仅针对基本模型大多失败的问题进行训练,无参考奖励仍然改进了策略(+1.9 MATH500 点,p = 0.03),但落后于答案键,因为它的概率对该分布变得过于自信。我们提前提出六个假设,并用旨在证伪它的控制来测试每个假设。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱