首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁

2026-11-18 1 阅读 约10分钟阅读 机器之心
分享:
字号:
随着 DeepSeek-R1 的出圈,强化学习尤其是 GRPO 已经作为大模型后训练的一种标准范式。然而,GRPO 并非完美无缺,近期的研究指出了它的两个明显缺陷: 能力边界没有拓宽(探索不足) :GRPO 更多是在模型现有的能力圈子里做 “跷跷板” 游戏(探索与利用的权衡),甚至在大采样预算下(如 Pass@256),其表现反而低于基础模型。 不懂得 “因材施教”(难度不敏感) :GRPO 的奖励机制忽略了题目的实际难度和模型当前的掌握程度,导致训练效率低下。 针对这一现状,近日来自香港大学的屈靓琼教授团队首次提出了一个统一的视角来解释这两大缺陷,并将其命名为 “ 隐式优势对称性(Implicit Advantage Symmetry) ”。基于这一理论视角,团队提出了全新的算法 A-GRAE ,在不增加额外计算成本的前提下,同时显著提升了模型的准确率(Pass@1)与探索能力(Pass@k)。论文获 NeurIPS 2026 录用,代码已开源。 论文题目:Unveiling Implicit Advantage Symmetry: Why GRPO Struggles with Exploration and Difficulty Adaptation 录用会议:NeurIPS 2026 论文地址:https://arxiv.org/pdf/2602.05548 代码仓库:https://github.com/HKU-HealthAI/A-GRAE 第一作者:香港大学博士生余志齐 一、研究动机: GRPO 为何会陷入双重瓶颈? 在可验证奖励强化学习中,GRPO 会让模型针对同一道题生成多条回答,再由验证器打分。以二值奖励为例,答对得 1 分,答错得 0 分。组相对优势估计将每条回答的奖励减去组内均值,再除以标准差。一个简单的标准化步骤,同时决定了组内如何奖惩、题目之间如何分配学习信号。研究团队指出,这种组相对优势中隐藏着一种未被察觉的 “对称性”,这正是阻碍模型进一步进化的罪魁祸首。这种对称性体现在两个层面: 图 1:GRPO 中的双重隐式优势对称性问题。在组内级别,正负轨迹的优势权重相等,导致低概率正确路径的 logits 无法更新,阻碍探索;在样本级别,中等难度样本的绝对优势值之和最大,导致困难数据训练不足。 组级别的对称 :在组内相对优势计算中,正确轨迹和错误轨迹的绝对优势值之和是严格相等的(零和性质)。这种对称导致那些 “概率极低但正确” 的未采样轨迹,无法获得直接的奖励信号。模型只能在已有路径上打转,不敢去探索新的解法。 定理 1. 行为空间的 Logit 更新 :假定 B 为模型所有可能生成的轨迹集合(包含已采样的集合 G 和未采样的集合 U)。令 C 为组内优势之和(在标准 GRAE 中,归一化使得 C=0)。在梯度下降下,任意一条轨迹的 Logit 更新量为: 其中 η 为学习率, 为该轨迹是否属于采样集合 G 的指示函数, 为模型生成该轨迹的当前概率。在标准 GRAE 中,优势归一化导致了零和对称(C=0)。这使得采样到的正确与错误轨迹被直接奖惩,而 未采样的轨迹在行为空间中得不到直接更新 ,因此不能学习到未采样却正确的潜在新路径,抑制模型探索。 样本级别的对称 :团队推导出,GRPO 分配给单条 prompt 样本的更新幅度正比于 (p 为成功率)。这意味着,中等难度 (p=0.5) 占据了最大权重,而简单题(如 p=0.75)和困难题(如 p=0.25)的权重竟然完全相同。这种僵化的 “静态对称” 忽略了模型在训练过程中能力的动态变化。 定理 2. 更新幅度与样本难度的关系 :考虑针对一个查询(样本)的轨迹组 G,其二元奖励为 。在组相对优势估计下,该组内绝对优势值的总和可推导为: 其中 p 表示该样本在组 G 内的经验成功率。定理 2 揭示了 GRAE 中固有的难度偏差:中等难度的样本主导了策略更新,而简单样本和困难样本在相同难度偏移下权重完全相同。然而,这种静态的方法忽略了训练过程中的 动态分布偏移 — 即随着模型能力增强。简单样本在样本池中会日益占据主导。这种对称性导致模型在琐碎数据上过拟合,却牺牲了对高难度场景的学习,从而无法满足演化学习过程中对模型能力非平稳性的需求。 二、控制变量实验: 打破对称性会发生什么? 基于上述理论,团队设计了受控实验,强行在组级别和样本级别打破这种对称性,以观察其因果效应。 表 1:控制变量实验设计汇总。Ai 表示对应回答优势,p 表示采样成功概率。β=10 和 γ=0.5 是常数项。 实验 I. 打破组级别对称 :当刻意放大正确轨迹的权重时,模型遭遇了严重的 “熵坍缩”,大采样预算下表现垫底;反之,当压制正确轨迹的权重时,模型的探索能力被极大地激发,但训练后期容易引发崩溃。 图 2:使用 Qwen2.5-Math-7B 打破组级别对称性的实验结果。我们放大(正优势主导,Positive-Dominant)或抑制(负优势主导,Negative-Dominant)正确轨迹的优势值,以将其性能与 GRPO 及基模型进行比较。性能评估采用 Pass@k 指标。最后一张图展示了训练集上的熵动态变化。 实验 II. 打破样本级别对称 :不存在普遍最优的静态难度加权策略,最佳策略取决于具体基准和训练阶段;实验证明,早期优先学习简单样本以掌握基础模式,后期转向困难样本以突破能力上限,这种 “由易到难” 的非平稳动态课程模式,比传统的静态固定策略或仅关注难题的方法能带来更高的学习效率。 图 3:使用 Qwen2.5-Math-7B 打破样本级别对称性的实验结果。我们重新缩放优势值,将学习焦点转向更困难的样本(Hard-Focused)或更简单的(Easy-Focused),以比较它们与 GRPO 及基模型的性能。性能评估采用 Pass@k 指标。最后一张图展示了训练集上批次内(within-batch)正确采样响应的数量。 小结(Takeaway): 压制正确路径的权重有助于探索,但过度压制会导致训练不稳定。因此,需要一种动态衰减机制。 简单样本在早期能帮助模型快速掌握推理格式,而困难样本在后期能突破性能上限。因此,需要一种从易到难的动态课程机制。 三、新的统一视角: 从优势对称性出发重新审视现有 RL 方法 这项研究最大的理论贡献之一,是提供了一个极具解释力的统一视角。在以往的研究中,针对 GRPO 的改进往往是 “割裂” 的,但从优势对称性出发,现有的各种方法其实都可以同一在这一框架下: 打破 “组级别对称性” :现有的负强化(Negative-reinforcement)和 Pass@k 导向的方法,本质上都是通过抑制对于正确路径的过度学习,隐式地打破了组级别的对称性,以此来促进模型的探索。 打破 “样本级别对称性” :而现有的那些强调高熵 Token 或困难样本的方法,则主要是通过根据样本的数据分布重新分配学习信号,打破了样本级别的对称性,将焦点转向不确定或困难区域。 我们希望这一统计视角能够为未来的强化学习奖励设置或者优势构造方法提供借鉴意义,在设计过程中对照这一性质来避免潜在的边界缩减和样本利用效率不足问题。 四、A-GRAE:
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱