不靠外部裁判，统一多模态模型学会自己「看图改图」：修复成功率提升到3倍，GenEval 0.72→0.84

统一多模态模型既能看图，也能画图，那么它能不能像人一样，画完之后自己检查、发现问题、再动手改？ 来自南洋理工大学、上海交通大学和东京大学的研究者给出了一个肯定的回答。他们提出 UMM-Reflection，在开源统一模型 BAGEL 上用强化学习训练完整的「反思—修改」多轮轨迹：同一个模型写出诊断，再按诊断重画，推理时不再需要任何外部打分器。 经过强化学习，模型对初始错误图像的修复成功率从 20.6% 提升到 64.9%，GenEval 从 0.72（反思 SFT）提升到 0.84，其中空间位置一项从 0.47 跃升到 0.89；在训练中从未见过的 WISE 上提升 11 个点，比直接对生成器做强化学习高出近 20 个点。代码、模型与训练数据均已开源。 论文标题： Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning 论文链接： https://arxiv.org/abs/2609.35767 项目主页： https://waltstephen.github.io/UMM-Reflection/ 代码： https://github.com/waltstephen/UMM-Reflection 模型与数据： https://huggingface.co/collections/YijiaFan/umm-reflection-6ab95afe909092518d70a158 作者： Yijia Fan*, Ziqi Huang*, Zhongang Cai, Yan Li, Zimo Wen, Wanqi Yin, Haiwen Diao, Ziwei Liu（*共同一作；Ziwei Liu 为通讯作者） 单位： 南洋理工大学、上海交通大学、东京大学 视频： UMM-Reflection 中文讲解（2 分 51 秒）。 核心结果一览 修复成功率提升到 3 倍以上： 初始生成错误的图像中，反思 SFT 模型只能修好 20.6%，强化学习后达到 64.9%。 GenEval 提升 12 个点（0.72→0.84）： 空间位置 0.47→0.89（+42），颜色属性绑定 +14，计数 +10。三种模型的初始图像准确率几乎相同，增益全部来自反思轮次。 迁移到训练中从未见过的基准： WISE 0.63→0.74，T2I-CompBench++ 0.50→0.55，OneIG 0.79→0.83。 同样的 RL 预算直接训练生成器（直接文生图 RL）： GenEval 只到 0.76，WISE 甚至低于 Base；UMM-Reflection 在 WISE 上比它高 19.8 个点。 推理时不依赖任何外部批评者或验证器： 看图、诊断、修改与停止全部由同一个模型完成。 一、能看也能画，却不会改自己的图 随着文本指令越来越复杂，一次生成的图像常常带着错误：位置关系反了、数量不对、颜色绑定错了对象。传统文生图模型无从察觉这些错误，更谈不上修复。统一多模态模型（UMM）把视觉理解与图像生成放进同一个网络，理论上「画图的模型也能看图」，于是有可能复现大语言模型里常见的自我纠错闭环：检查、诊断、修改。 现有工作大致沿两条路线推进。一条路线把强化学习用在单次生成上，例如先写文本规划再出图，或者用模型自己对成图的理解作为奖励，但模型从不回头修改已经画出的图。另一条路线让模型在中间图像上继续推理和编辑，但主要依赖对合成轨迹的监督模仿（SFT）。也有工作用强化学习训练多轮重新生成，但各轮相互独立，不继承之前的上下文。 研究者关心的问题是：模仿学习到底教会了模型什么，又缺了什么？ 二、关键观察：SFT 学会了「改」，却改不准 研究者先构造了 29,529 条多轮反思轨迹，对 BAGEL 做反思 SFT。结果显示，SFT 学到的远不止格式：95% 的轨迹遵守反思协议，并且对训练集中初始错误的图像各采样 16 条轨迹时，有 78% 的图像至少存在一条正确修复的路径。也就是说，有效的修改已经存在于模型的能力范围之内。 问题在于可靠性。只看单条轨迹，SFT 模型只能修好 20.6% 的初始错误图像，三轮反思在 GenEval 上总共只带来约 2 个点的提升，而且第一轮之后就基本停滞。如图 1 左上所示，SFT 的修改常常在原地打转：先挪领带，再挪狗，又挪回领带，最终仍然是错的。 图 1： 同一提示词与随机种子下，SFT 与 RL 的反思轨迹对比。SFT 已能写出有意义的修改，但单条轨迹常常绕圈；整轨迹 RL 让策略集中到能够抵达「正确图像区域」的修改路径上。 这意味着，从「会改」到「改得对」之间缺的是一种结果驱动的信号：一次反思是否有用，要等它触发的图像生成出来，甚至再过几轮之后才能知道。 三、方法：在同一个模型里，用整条轨迹做强化学习 研究者把这种由统一模型自身完成的多轮「检查—诊断—修改」行为称为原生反思（native reflection）。由于诊断文本与修改后的图像出自同一组参数（文本头负责写诊断，flow 头根据诊断重新渲染），同一个结果奖励可以沿着同一条轨迹同时更新两者。训练分为两个阶段。 第一阶段：反思 SFT 冷启动。 每一轮，模型观察原始请求、此前全部的图文历史和当前图像，输出结构化反思（THINKING / ACTION / EDIT），选择继续编辑或停止。训练数据由外部模型合成：GPT-5.5 担任批评者，Qwen-Image 与 Qwen-Image-Edit 负责生成与编辑，BAGEL 本身不参与，以免把它自己的失败模式蒸馏回监督信号。数据涵盖一次成功、自然修复、多步规划三类轨迹，提示词与所有评测基准无重叠。 第二阶段：整轨迹强化学习。 核心有两个设计： （1） 共享初始图像的采样。 对每个请求只生成一张初始图像并将其从计算图中分离，再从这张完全相同的图出发采样 16 条完整的反思轨迹。这样组内相对优势比较的是不同反思策略的好坏，而不是谁的初始图像运气更好。 （2） 一条轨迹，一个优势。 每条轨迹只计算一个结果驱动的优势值，同时更新其中所有反思 token 和 flow 生成步骤。这样既避免了逐轮分配信用所需的指数级 rollout，也不需要额外训练价值模型。 图 2： UMM-Reflection 的强化学习流程。16 条轨迹共享同一张初始图像，每条轨迹交替进行模型自身的反思与渲染（最多三轮）；冻结的验证器为每张图和每条轨迹打分，组内归一化后得到一个轨迹级优势，同时更新文本头与 flow 头。验证器仅在训练时使用。 奖励方面，冻结的验证器为每张图像给出 0 到 1 之间的分级分数，部分修复也能得到非零的进步信号。轨迹奖励同时考虑最终图像质量、每一轮的改进幅度，以及对「把对的改错」的惩罚。验证器只在训练时使用，推理时模型完全依靠自身完成反思与停止决策。 四、实验：提升集中在反思轮次，并能迁移到未见基准 所有对比都使用同一个 BAGEL 骨干、相同的提示词、分辨率与评分器。RL 只在 GenEval 六类任务的 3,000 条训练提示上进行，评测则覆盖全部 553 条 GenEval 官方提示