LLM 培训后的特质搭便车

arXiv:2611.14683v1 公告类型：新 摘要：强化学习（RL）现已成为语言模型后训练的标准阶段，并且专用于其的计算量正在快速增长。虽然它已被证明可以提高能力，特别是对于具有可验证奖励的任务，但它也可以改变奖励未明确针对的行为和内部属性。我们提出了一种形式主义来描述 RL 训练后“特征”的演变，并在此过程中从进化生物学中恢复 Price 方程。我们用它来开发一个数学模型，用于所谓的“特质搭便车”：当训练重新分配完成概率时，非目标特质的放大或抑制。我们在使用 GRPO 训练的语言模型上评估此 Price 更新表达式，并表明 Price 估计密切跟踪采样的特征动态。这些结果表明，特质搭便车是强化学习训练后可以悄悄放大不良特质的一种机制。