SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> SFT别急着接RL！你的多模态大模型可能一直在“带伤训练” 衡宇 2026-05-17 11:42:11 来源： 量子位 先把SFT挖的坑填了！ PRISM团队 投稿 量子位 | 公众号 QbitAI SFT之后，直接上强化学习就够了吗？ 小心，你做的可能不是“训练”，而是“还债”。 在多模态大模型（MLLM）的后训练中，行业内长期遵循着一个看似天经地义的范式： 先SFT，再RL，两步到位 。 从DeepSeek到Qwen，从GRPO到DAPO，大家拼命优化RL算法的稳定性、采样效率、奖励设计……却几乎没人回头看一眼： SFT到RL之间，是不是少了点什么？ 但来自香港科技大学（广州）、南洋理工大学、清华大学等机构的最新研究Beyond SFT-to-RL(PRISM)给出了一个令人不安的发现： SFT不仅没有为RL铺好路，反而在悄悄挖坑。 被忽视的“隐形断层”：SFT到底做了什么？ 先看一组比较有意思的数据（7个主流多模态benchmark的平均准确率）： 阶段 Qwen3-VL-4B Qwen3-VL-8B 原始Instruct模型 59.7% 63.3% SFT之后 56.8% (-3.0) 58.1% (-5.2) SFT → GRPO 61.8% 63.3% 可以看到， SFT之后，模型性能反而下降了 。 8B 模型要更为明显一点：SFT掉了5.2个点，辛辛苦苦做完强化学习，才刚刚爬回基线(baseline)的水平（63.3%→58.1%→63.3%）。 也就是说， 你的RL可能一直在“还债”，而不是在“提升” 。 而且这绝不是个例。 在当下主流的强Instruct模型上（Qwen3-VL等），只要SFT数据带入一个与基座不一致的新分布（比如目前最常见的GPT/Gemini蒸馏数据）几乎都会观察到类似的掉点。 原因很直接：这类基座已经经过大规模、精细的后训练，能力本就处于一个相对稳定的高位。 SFT逼着模型去模仿一套新分布，结果就是用一个更“窄”的分布去覆盖一个更“广”的能力，旧能力被冲掉、新能力又没真正学到。 换句话说， 模型越强、越接近实际部署的水平，SFT引入的分布偏移就越成为RL之前一道绕不开的“暗坑” 。 这恰恰是PRISM必须存在的理由。 这背后的核心问题，是后训练里早已被反复讨论的分布漂移（Distributional Drift）。 但在多模态场景下，它有一套更隐蔽、也更难治的表现形式。 问题根源：SFT引入的两类偏差 SFT在多模态场景下，会引入两类容易被忽视的偏差： 偏差一：表面模仿——token级loss把过程和结果同权处理 SFT的优化目标是在均匀的token级loss下模仿演示轨迹。 它不区分“过程”和“结果”：对模型来说，正确的推理步骤和格式化的模板套话，权重是一样的。 结果就是 模型学会了“长得像”正确答案，而不是“想得出”正确答案 。 它学到的是表面模式，而非忠实的推理能力。 偏差二：感知漂移与推理漂移在同一个loss里被混起来 这是多模态场景特有的麻烦。与纯文本模型不同，多模态模型的漂移不是单一的，而是两种定性不同的失败模式在同时发生： 感知漂移：视觉定位出错，模型“看错了” 推理漂移：逻辑推导失败，模型“想歪了” 这两种漂移的成因不同、纠正方式不同，但SFT用同一个token loss把它们一起拟合。 而当RL阶段时，模型已经在感知和推理两端同时偏移，即一个“既看不准、又想不对”的模型。 现有RL算法为什么救不了？ 从GRPO，到DAPO，再到GSPO，RL算法这一段时间确实一直在进步。 但它们解决的是 RL阶段内部的问题 ：采样效率、梯度方差、策略崩溃。 没有任何一个RL算法回头去修复SFT留下的分布偏差 。 这里举个不太恰当的例子：这里就好比你参加百米短跑，SFT不仅没有让你往前走，反而把你向后推了50米。 现有的RL算法都在研究怎么跑得更快，但起点还在坑里， 而PRISM要做的，就是在SFT和RL之间补上这一步，不仅把你拉回起跑线，还顺势往前推一把，让RL只用跑50米就能冲线 。 PRISM的核心方案：三阶段流水线(Pipeline) PRISM打破了传统的两阶段范式，提出了 SFT → 分布对齐 (PRISM) → RLVR 的三阶段流水线。 关键创新在于中间的 分布对齐阶段 。 混合专家判别器（MoE Discriminator） 感知漂移和推理漂移是两类成因不同的偏差，需要分开处理。 PRISM为此设计了一个混合专家判别器，由两个专门化的专家组成： 感知专家D_v ：专门评估视觉描述，测量模型的输出是否忠实于图像内容，解决感知漂移 推理专家D_r ：专门评估推理轨迹，测量逻辑推导是否一致有效，解决推理漂移 最终判别得分为两者的加权组合： r(x,y) = α · D_v(x,c) + (1-α) · D_r(x,t) 这种设计的好处是提供 解耦的纠正信号 ，避免将两种完全不同的误差模式塞进一个标量里，导致梯度信号变得嘈杂。 黑盒蒸馏：不需要教师logits PRISM的另一个优雅之处在于：它是 黑盒 的。 很多蒸馏方法需要访问教师模型的logits（内部概率分布），这意味着你得有教师模型的完整权重。 但在实际场景中，最强的模型往往只提供API，你只能看到输出，看不到内部状态。 PRISM完全在 响应级别 工作：从强模型（Gemini 3 Flash）采集高质量输出作为正样本，从当前策略采样作为负样本，通过对抗博弈来对齐分布。 只要能调API，就能用PRISM。 一个重要的设计决策：去掉KL正则化 传统RL训练通常会加一个KL散度约束，防止策略偏离初始模型太远。但PRISM有意识地 去掉了这个约束 。 道理很简单，对齐阶段的目的，就是纠正SFT带来的分布偏差。再加一个把策略拉回SFT分布的KL约束，本身就和这个目标相互矛盾。 分布演变：对齐真的把模型拉回到更好的起始点 下图直观地展示了分布的演变过程：从Base到Post-SFT再到Post-Alignment，无论是推理步数还是视觉描述项数的分布，都在逐步向监督数据靠拢： 可以清晰看到：Post-SFT（蓝线）与Supervision（黑线）仍有明显偏差，而Post-Alignment（橙线）则大幅缩小了这一差距，且这种改进在Post-RLVR（绿线）阶段得以保持。 实验验证 在Qwen3-VL的4B和8B两个规模上，PRISM搭配 GRPO/DAPO/GSPO 三种主流RL算法，在 4个数学推理基准（MathVista、MathVerse、MathVision、WeMath） 和 3个通用多模态基准（MMMU、MMMU-Pro、HallusionBench） 上全面验证了有效性。 下表是论文Table 1的主结果（灰色行为PRISM）： 从主表里能读出几个值得展开的信号： (1) 模型越强，PRISM的增益越大 ：8B拿到+6.0的平均提升，4B为+4.4