可预测的 GRPO：训练动态的封闭式模型

arXiv:2606.30789v1 公告类型：新 摘要：组相对策略优化（GRPO）已成为提高大型语言模型推理能力的标准工具，但其训练动态仍然是经验性描述的：奖励轨迹适合低参数函数形式，其常数不具有机械意义，超参数选择仍然是反复试验的问题。我们开发了这些动力学的第一原理降阶模型。减少会产生三个后果。首先，它将经验单指数饱和律作为其过阻尼极限，将拟合的平台、时间尺度和尺寸指数重新铸造为潜在势的不动点、逆刚度和曲率缩放指数，并通过保留的惯性项添加单指数无法表示的慢启动阶段。其次，它产生与独立可测量量而不是拟合量相关的预测：确定性轨迹的组大小不变性，具有 $1/G$ 平稳波动、刷新间隔中的急剧稳定性阈值以及过阻尼到振荡过渡。第三，它提供了诊断，将单独的奖励曲线所合并的故障模式分开——奖励黑客、优势退化、政策集中和动态不稳定。在三个模型和两个组大小中，闭合形式轨迹将训练奖励拟合为 $R^2 \geq 0.91$，并且预测的组大小不变性在奖励曲线和八个数学基准的分布外转移上均成立。稳定性和振荡预测在受控精确降低设置中进行，其中平均场假设完全成立：softmax-bandit 降低再现了预测的过阻尼到振荡过渡，并将刷新间隔稳定性阈值定位在独立测量的刚度处，深度网络演示留待未来工作。