苹果新作：内化视觉思考，推理提速 5 倍

对于能够与真实世界交互的智能系统来说，仅仅理解 “眼前发生了什么” 还远远不够。机器人、智能助手或主动视频理解系统还需要根据不完整的视觉信息推断事件如何发展，并提前预测接下来可能发生的动作。 一种直观的做法是视觉思维链（Visual Chain-of-Thought，Visual CoT）：先让模型生成一张 “想象中的未来画面”，再基于这张图像完成后续推理。未来画面能够直接表达物体位置、运动趋势、交互关系和状态变化，但生成、解码并重新编码中间图像也带来了显著开销。对于强调实时响应的主动视频推理任务而言，一个预测即使最终正确，如果在事件已经发生后才给出，价值也会大幅下降。 Apple 研究团队最近提出了一个不同的问题：如果未来视觉信息真正的价值，是帮助模型学习世界将如何变化，那么是否一定要在推理阶段把这个未来真正 “画出来”？ 围绕这一问题，团队提出 Internalized Visual Thinking（IVT，内化视觉思考），一种将预测性世界建模能力内化到模型表征中的后训练框架。IVT 在训练阶段同时学习文本答案和未来帧的隐空间表征，但在推理阶段完全移除未来视觉预测过程，只根据当前观测视频直接生成答案。 论文标题：Beyond Visual CoT: Internalized Visual Thinking for Proactive Video Reasoning 作者单位：Apple 论文地址：https://arxiv.org/abs/2608.15869 技术博客：https://zgzxy001.github.io/blog/internalized-visual-thinking.html Visual CoT 有效，但 “把未来画出来” 太贵 这项工作关注 Proactive Video Reasoning（主动视频推理）。论文主要考虑两类任务：Early-event Prediction 要求模型在一个动作尚未结束时就识别出它；Next-event Prediction 则进一步要求模型在目标动作还没有发生前，预测下一步最可能发生什么。两者都依赖对未来的建模，但也都对推理延迟十分敏感。 论文首先比较了 Answer-Only SFT 和 Visual CoT。 在 Early-event Prediction 中，Visual CoT 可以带来精度提升，但平均延迟从 1.07 秒增加到 6.56 秒；在 Next-event Prediction 中，延迟也从 1.32 秒增加到 6.55 秒，而精度提升并不稳定。 也就是说，显式生成未来画面的成本很高，却不一定始终换来更好的结果。 那么问题究竟出在 “未来信息没有用”，还是出在 “模型生成的未来不够好”？研究团队进一步设计了 Oracle 实验：不使用模型生成的未来帧，而是直接提供真实未来帧。结果显示，在 Early-event Prediction 中，ROUGE-L 从 Answer-Only SFT 的 34.4 提升到生成未来帧时的 36.4，而真实未来帧可以达到 41.9；Next-event Prediction 中也观察到类似趋势。 这说明未来视觉信息本身确实具有明显价值。Visual CoT 的瓶颈更可能在于：把未来显式生成成像素既昂贵，又会受到生成误差影响。一旦中间未来画面出现偏差，还可能进一步误导后续推理。 训练时预测未来，推理时直接回答 IVT 的核心思路可以概括为一句话：训练时预测未来，推理时不再生成未来。 普通 Answer-Only SFT 只要求模型根据当前视频生成文本答案，因此训练目标并不会明确要求模型理解观察边界之后的世界将如何变化。IVT 则在文本预测之外加入 Next-Embedding Prediction：模型根据当前观测，不仅要生成答案，还要预测未来视频帧对应的 latent embedding。 这里的关键是，模型预测的并不是完整像素，而是未来视觉状态在隐空间中的表征。这样的监督迫使模型从当前输入中捕获运动趋势、物体状态变化、人与物体的交互关系以及潜在意图；与此同时，文本生成目标又要求这些预测信息真正服务于最终任务。 训练完成后，未来预测分支可以完全移除。模型不需要生成、解码或重新编码任何中间图像，只需像普通 SFT 一样根据当前视频直接输出答案。因此，IVT 保留了未来视觉建模带来的训练信号，却不增加推理阶段的额外成本。 什么样的 “未来” 最值得预测？ 作者发现，并不是随便加入一个未来预测 loss 就能获得提升。首先，未来表征本身的选择很重要。 论文比较了 Flux-VAE、DINOv2 以及 SigLIP2 等不同目标，最终 Flux-VAE 的整体效果最好。相比更加语义化的表征，VAE 保留了更多细粒度外观、空间结构和局部状态信息，而这些信息可能恰好对短期动作演化更加关键。 另一个重要发现是，未来预测与语言任务需要联合训练。研究团队尝试过两阶段策略：先单独训练未来 embedding prediction，再进行文本 SFT，但效果反而不如从头到尾联合优化。 这个结果说明，IVT 的收益并不是简单获得一个更好的视频表征， 而是让 “未来会怎样变化” 持续参与塑造最终用于回答问题的内部 reasoning representation。 数据混合比例也会影响结果。作者比较了不同的 understanding-to-prediction 配比，发现更偏向语言监督的设置在训练早期收敛更快，但也更容易较早饱和；让未来预测在整个训练过程中保持足够比重，最终效果反而更好。这表明未来预测不能只作为一个轻量辅助 loss 偶尔出现，而需要持续改变模型用于推理的内部表示。 作者还发现，预测未来并非越远越好。短期未来与当前视觉证据联系更紧密，能够提供较可靠的监督；随着 prediction horizon 增大，未来的不确定性迅速上升，过强地把这类预测信号与语言模型绑定，反而可能引入噪声。这也解释了为什么 IVT 当前更适合近未来预测，而不是非常长时间跨度的行为规划。 六项设置全部超过 SFT， 平均推理仅 1.22 秒 研究团队在 Ego-Exo4D、Ego4D 和 EPIC-KITCHENS-100 三个数据集上分别评估 Early-event Prediction 和 Next-event Prediction，共组成 6 个 dataset-task 设置。结果显示，相比对应的 Answer-Only SFT，IVT 在 6 个设置中全部取得提升； 与 Visual CoT 相比，IVT 在其中 4 个设置表现更好，并在三个 Next-event Prediction benchmark 上全部超过 Visual CoT，这说明 IVT 并非单纯用性能换速度。 效率方面的差距更加明显。在统一的 NVIDIA B200、batch size 1、bf16 环境下，6 项任务平均来看，Answer-Only SFT 每个样本需要 1.20 秒，IVT 为 1.22 秒，两者几乎一致；Visual CoT 则需要 6.56 秒。也就是说，IVT 相比 Visual CoT 获得了