Loop Transformer走向语言模型，百度联合清华人大高瓴开源LoopVL

Loop Transformer， 能否真正扩展到视觉语言模型？ 近年来，Loop Transformer 逐渐从简单的模块复用走向更复杂的分层循环计算，探索如何通过共享参数持续更新模型状态。一个自然的问题是：当模型开始看图，这套机制还成立吗？ 图像中往往同时包含文字、物体和空间关系，而不同循环可能需要关注不同的视觉证据。再次调用相同参数，模型会继续关注原来的位置，还是转向第一遍忽略的地方？ 近日， 来自中国人民大学、百度、清枢智汇、上海交通大学、清华等机构 的研究者提出 LoopVL ，围绕这一问题完成了从语言预训练到多模态后训练的系统探索。除了验证循环视觉语言建模的可行性，团队还观察到明显的跨循环视觉注意力重组，并将其称为 Visual Aha Moment 。 论文标题：LoopVL: Recurrent Visual Intelligence 论文地址：arxiv.org/abs/2609.38426 开源代码：github.com/Tier-Flow/LoopVL 模型权重：huggingface.co/TierFlow/LoopVL 先看结果： 约 1B 语言主干，能走多远？ 先看一个非常直接的对比：LoopVL 仅用 0.14T 训练 token，而 Qwen3.5-2B 和 InternVL3.5-2B 约用了 36T，训练数据量相差约 260 倍。 尽管数据规模远小，LoopVL 在 LogicVista、MMMU-Pro、MMStar、RealWorldQA、MMK12-Math、MathVision 等多项评测上，依然能够达到甚至超过这些公开 VLM 的表现，体现出较强的数据效率与推理潜力。 LoopVL 与 Qwen3.5、InternVL 等公开 VLM 的性能比较，涵盖通用理解、幻觉、数学与科学等任务。各模型训练 token 规模列于首行。（论文表 2） 要判断循环有没有带来价值，不能只把不同来源的模型摆在一起。团队构建了三个采用相同 Transformer block 设计的非循环基线：32 层的 Transformer-VL 1B，以及通过增加深度或宽度扩展的两个约 4B 模型，并统一使用 0.14T 训练 token 预算。 相比两个约 4B 的 Transformer 基线，LoopVL 仍保持约 1B 的语言主干，通过循环复用共享模块增加计算深度。在八项受控评测中，LoopVL 有五项同时超过 Deep 和 Wide：RealWorldQA 达到 70.98，高于二者的 66.54 和 66.01；MathVision 达到 38.49，高于 35.92 和 33.55。这表明，让共享参数在不断更新的视觉 — 语言状态上反复计算，也可以成为有效的模型扩展路径。 相同训练 token 预算下的受控比较，截取五项指标。Deep 与 Wide 分别通过加深、加宽扩展模型。（论文表 1 节选） 需要强调，参数复用并不意味着推理计算开销更低。LoopVL 与 1B 基线均有 32 套独立 Transformer 层，但分别执行 128 次和 32 次层调用，因此上述结果并非同等推理开销下的比较。 32 层参数，128 次计算： LoopVL 的两层循环 LoopVL 沿用 HRM-Text 的分层循环架构，将语言主干划分为各含 16 层 Transformer 的 L、H 模块。默认 H2L3 配置下，L 连续执行三次，再执行一次 H，整个过程重复两轮，即 [L×3→H]×2。其中，L 模块的重复调用形成 Module-Loop，完整 L/H 周期的复用形成 Model-Loop。32 套独立 Transformer 层由此展开为 128 次层调用，图像仅经过一次视觉编码，后续循环持续更新联合视觉 — 语言状态。 Module-Loop 重复调用 L 模块，Model-Loop 重复整个 L/H 更新周期。视觉与语言共同参与循环计算。（论文图 2） 团队先用 75B token 训练自己的语言主干，再进入多模态训练：视觉对齐阶段冻结语言主干和视觉编码器，只训练随机初始化的投影器；之后联训语言主干与视觉接口，再完成监督微调和视觉强化学习。模型在完整训练过程中逐步学会利用循环计算。这些循环发生在一次前向传播内部，前一轮的隐状态传入下一轮，最后由 H 状态生成输出。 把视觉状态改成 “只读”， 会发生什么？ LoopVL 并不把进入语言主干的视觉 token 当成固定特征。它们对应图像中的空间位置，却会随着循环不断变化。第一轮结束后，下一轮读到的已经是经过视觉 — 语言交互的表示。 为了判断这些更新是否必要，团队保留第一轮计算，在第二轮分别阻断 L 模块视觉更新的传递，或将视觉状态完全冻结。两种干预都降低了性能。但这还不够：推理时突然改变计算规则，本身就可能产生训练与推理不一致。 因此，团队又单独训练了一个 Read-only 版本：第一轮允许更新视觉状态，第二轮只读，训练和推理遵循同一规则。视觉 token 仍然可被读取，非视觉状态也继续更新。结果，正常 LoopVL 在四项评测中依然最高，重新训练的只读版本仍落后于它。 正常模型与三种视觉状态更新控制。Read-only trained 是单独训练的变体，并非仅在推理时冻结状态。（论文图 3） 这组实验支持了一个关键判断：视觉状态的持续更新，是 LoopVL 循环计算中有用的一部分。它不是第一轮处理完图像，后面只剩语言在继续运转。 循环交界处的视觉 Aha Moment ！ 视觉 Token 保留了与图像区域的空间对应关系，这为研究循环计算提供了一个直观窗口：当同一个共享模块被再次调用时，模型究竟在关注哪里？ 团队在多个诊断样本上，沿 128 次层调用记录视觉注意力的变化。空间熵（Spatial Entropy）描述注意力分布有多分散，Gini 系数则衡量视觉 Token 之间的注意力权重有多不均匀：前者越低、后者越高，通常意味着视觉注意力越集中。 最有趣的现象出现在两轮 Model-Loop 的交界处。 从第 63 次到第 64 次层调用，平均 Gini 系数从 0.405 突然跃升至 0.858，第二轮的空间熵也整体更低。这意味着，模型从第一轮相对分散的视觉关注，转向了第二轮对少数视觉区域的集中关注。 图 7：多个诊断样本的平均 Gini 轨迹。两轮 Model-Loop 的交界处出现显著的注意力集中现象。 这一令人兴奋的现象证明：模型并非简单地重复计算，而是在新一轮循环中重新分配视觉注意力。 第一轮可能侧重于广泛整合视觉信息，第二轮则进一步聚焦于少数关键区域，呈现出从广泛感知到选择性关注的趋势。即使采用完整反向传播，或移除视觉锚点与视觉门控机制，这种现象依然存在。 因此，循环计算的价值可能不仅在于增加计算深度，还在于让模型逐轮调整视觉信息的处理方式，但这一变化为理解循环模型如何实现更深层次的视觉推理提供了重要线索。 当然，注意力变集中，仍然不能说明模型找到了不同的证据。为此，团队进一步比较了两轮循环末端同一个共享 H 模块最后一层的视觉注意力分布，观察模型究竟将注意力转移到了哪些区域。 有趣的是，一些重要的