首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

让大模型学会向老师提问:UIUC等提出Ask to Distill,让知识蒸馏从「回答问题」走向「优化问题」

2026-11-18 1 阅读 约10分钟阅读 机器之心
分享:
字号:
一道好问题,可能比一千道普通问题更有价值。 在大语言模型的训练中,人们通常认为,要让模型变得更聪明,就需要更多高质量数据、更可靠的标准答案,以及更强大的教师模型。但近期关于 On-Policy Distillation(OPD,在线策略蒸馏)的研究揭示了一个值得关注的现象:即使只使用很少的训练问题,学生模型也有可能从教师模型中获得显著的性能提升。 这引出了一个新的问题: 如果少量问题就足以带来显著的知识迁移,那么我们是否能够让模型主动学习,生成那些最有利于自身学习的问题? 进一步来说,如果这些问题是模型自己生成的,没有标准答案,也没有外部验证器,又该如何判断哪些问题真正值得用于训练? 近日,来自伊利诺伊大学厄巴纳-香槟分校(UIUC)、香港科技大学和德克萨斯农工大学等机构的研究者提出了 Ask-to-Distill(A2D) ,一种面向在策略蒸馏的合成问题优化框架。不同于依赖标准答案或任务成功率评估合成数据的方法,A2D 从教师与学生的预测分布出发,直接衡量一道问题能够激发多少可利用的教师监督信号,并通过强化学习优化问题生成器。在数学推理、代码生成和智能体任务上的实验表明,A2D 能够在不依赖外部训练问题和正确答案的情况下,生成更有效的蒸馏数据,并在所评估的设置中取得优于多种真实数据及合成数据基线的平均性能。 更有意思的是,研究发现: A2D 生成的问题能够让学生模型的回答长度减少约 20%,同时激发的累计学习信号增加约 28%。 这意味着,真正有价值的训练问题,未必需要让模型进行更长、更复杂的推理,而可能是那些能够精准暴露其知识缺口的问题。 论文标题:Ask to Distill: Learning to Synthesize Data for On-Policy Distillation 论文地址:https://arxiv.org/abs/2610.27450 代码地址:https://github.com/GasolSun36/Ask_to_Distill 模型与数据:https://huggingface.co/collections/gasolsun/ask-to-distill-model-and-data-collection 从「如何回答问题」到「应该提出什么问题」 大语言模型的知识蒸馏,通常希望将强教师模型的能力迁移到相对较弱的学生模型中。传统的监督微调往往采用教师生成的答案作为训练目标。然而,教师生成的轨迹并不一定符合学生模型自身的生成分布,学生在推理时也可能进入训练过程中未曾覆盖的状态。 On-Policy Distillation 提供了另一条路径。在 OPD 中,学生模型首先根据训练问题自主生成回答,教师模型再对学生实际生成的轨迹提供 token 级别的监督。由于训练直接发生在学生自身访问的状态上,这种方法可以减轻固定教师示范带来的分布不匹配问题。 但这里有一个容易被忽视的细节: 虽然知识由教师提供,但决定教师能够在什么位置提供监督的,实际上是训练问题本身。 同样一个教师和学生,面对不同的问题,可能进入完全不同的生成轨迹。有些问题过于简单,学生和教师的预测基本一致,教师没有多少额外知识可以传递。有些问题过于困难,虽然教师和学生存在巨大分歧,但教师倾向的答案可能远远超出学生当前能够有效学习的候选范围。还有一些问题恰好位于两者之间:学生尚未完全掌握,但教师能够在学生已有的候选答案中提供明确的纠正方向。第三种问题,可能才是真正具有较高蒸馏价值的问题。研究团队因此提出一个新的视角: 训练问题不仅是模型需要解决的任务,也可以被视为触发教师监督信号的「分布诱导器」(Distribution Elicitor)。 它的作用不只是要求学生给出答案,而是将学生引导至那些教师能够有效传授知识的状态。这也让合成数据优化从传统的「生成更难的问题」转变为「生成更有学习价值的问题」。 核心方法:不判断答案对错, 如何知道一道题有没有价值? A2D 的核心思想,是让一个问题生成器不断探索:什么样的问题能够为特定的学生—教师模型组合提供更有效的监督? 整个框架包含三个阶段。 第一阶段:让模型生成问题,并观察教师和学生的分歧 A2D 首先复制初始学生模型的参数,用它初始化一个独立的问题生成器(Synthesizer)。 这个生成器负责提出问题,而不是负责解决问题。针对生成的每一道问题,系统使用冻结的学生模型生成回答,再让冻结的教师模型沿着学生生成的相同轨迹进行预测。由此,在每一个 token 位置,系统都可以获得学生与教师各自的概率分布。这使得 A2D 无需知道问题的正确答案,也能观察两者在哪些位置产生了知识差异。值得注意的是,在整个问题生成器的强化学习训练过程中,教师和用于评分的学生始终保持冻结,只有问题生成器被更新。因此,A2D 优化的并不是学生的解题参数,而是 决定学生接下来会遇到什么问题的数据分布 。 第二阶段:不仅要有分歧,还要保证学生能够学到 教师与学生之间的分歧,可以通过 KL 散度衡量。 直观来说,如果教师和学生对下一个 token 的预测几乎相同,那么这个位置的分歧较小;如果预测差异很大,分歧就更大。然而,A2D 并不直接将 KL 散度作为唯一的学习奖励。原因在于: 分歧很大,并不意味着学生一定能够从中有效学习。 例如,假设学生认为下一个 token 最有可能是 A、B、C,而教师更倾向于 D、E、F。即使双方的差异非常明显,如果当前蒸馏更新主要作用于学生的 Top-K 候选 token,教师的主要概率质量却集中在这些候选之外,那么这些分歧未必能够转化为有效的训练监督。为此,A2D 引入了两个互补的指标: Disagreement(分歧程度) : 衡量教师和学生在预测分布上的差异,回答「教师有多少不同的知识可以传递」。 Compatibility(兼容程度) : 衡量教师有多少概率质量落在学生的 Top-K 候选 token 上,回答「教师希望传递的知识,有多少位于学生当前的学习范围内」。 A2D 将二者结合,构造每个 token 的学习价值信号: 其中, 表示教师与学生的分布分歧, 表示教师与学生候选集合的兼容程度。 通过这种设计,A2D 更倾向于奖励同时满足两个条件的位置:教师和学生存在足够明显的分歧,而且教师的监督能够覆盖学生当前考虑的候选 token。换句话说,A2D 并不是单纯寻找「学生不会的问题」,而是寻找「 学生尚未掌握,但教师能够提供可利用纠正信号的问题 」。当然,这一奖励仍然是学习价值的代理指标,并不保证每一个高分 token 都必然带来同等幅度的参数更新收益。 第三阶段:用强化学习,让模型越来越会出题 有了 token 级别的信号后,A2D 将其聚合为问题级别的奖励,并使用 Group Relative Policy Optimization(GRPO)训练问题生成器。 不过,直接累计 token 信号容易产生新的问题。例如,生成器可能倾向于提出导致超长回答的问题,仅仅通过增加 token 数量获得更高奖励;也可能反复生成相似问题,通过重复利用少数高奖励模式来提高得分。为避免这些现象,A2D 在奖励中进一步引入长度控制和多样性控制: 其中,第一项衡量问题所
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱