ICML 上新 | 五项视觉研究，让模型更持久、更轻量、更统一、更聚焦

（本文阅读时间：15分钟） 编者按： 欢迎阅读 “ 科研上新 ” 栏目！这里汇聚了微软亚洲研究院最新的创新成果与科研动态，助你快速捕捉前沿技术脉搏，保持对 AI 领域发展的敏锐嗅觉。 上周，第 43 届 ICML 大会在韩国首尔召开。此前两期“ ACL + ICML 上新”分别精选介绍了微软亚洲研究院在两个大会上发表的关于 大模型的多元文化价值观对齐 以及 大模型智能体构建 等方向的前沿研究。 本期我们聚焦 ICML ，分享五项精选创新成果，围绕世界模型构建、轻量化扩散编解码、视觉高效压缩、跨模态统一建模与视频时序推理等当下核心技术难题，带你探索机器学习领域的最新突破。 欢迎大家 参与文末投票，选出你最感兴趣的论文 ！前两期【 ACL+ICML 上新】也可以继续投票！我们将邀请论文的作者们与你在 直播间 进行前沿技术的 交流与探讨 ！ 「 本期内容速览 」 01 让虚拟世界告别遗忘：构建具有持久三维记忆的世界模型 02 CoD-Lite ：基于扩散模型的实时生成式图像压缩 03 一个向量，装下整段视频：视觉生成模型里的隐式记忆表征 04 基于下一词元扩散的多模态隐式语言建模 05 ViTL ：融合交错式推理的长视频问答 01 让虚拟世界告别遗忘：构建具有持久三维记忆的世界模型 论文链接： https://arxiv.org/abs/2603.03482 现有的交互式世界模型常缺乏对环境的三维表示，只能从数据中隐式地学习三维一致性。而它们的空间记忆受限于有限的时间上下文窗口，所以在进行长程推演时容易丢失空间信息，导致一边生成一边遗忘，难以适配沉浸式交互和智能体训练等任务。 针对这一瓶颈，研究员们提出了 PERSIST 框架，通过隐空间中的三维环境帧（ world-frame ）显式建模环境随时间演化的状态。具体而言，模型维护并预测一个三维环境帧，用于保存持久的空间记忆；同时预测相机状态，并根据当前视角将三维环境帧中的信息投影到可观测的二维屏幕空间；最后，利用一个 world-to-pixel （世界状态到像素画面）生成模块，根据投影后的三维环境特征、动作以及二维图像特征合成当前视频帧。 在训练阶段， PERSIST 使用 2D-VAE 和 3D-VAE 分别编码视频帧和三维环境帧，其中环境帧预测器和 world-to-pixel 生成器均采用 Rectified Flow 框架，相机模型则通过因果 Transformer 预测位置、朝向和视场变化。为缓解自回归推理中的误差累积，模型进一步引入 Diffusion Forcing 和随机噪声增强，使各个模块在训练时能够适应推理阶段由其他模块生成的隐空间特征。 图 1 ： 以单个视频帧初始化后， PERSIST 会根据用户动作在自回归循环中持续迭代世界状态。模型首先预测智能体周围的三维环境帧，并用一个前馈 Transformer 预测相机参数，随后根据预测的相机参数将三维世界投影到相机平面，得到一簇按深度排序的世界隐特征；最后，模型利用这些与像素对齐的三维信息，对像素隐特征进行去噪并合成下一视频帧 。 在 Luanti 环境中的实验表明， PERSIST 在长程交互式生成中明显优于 Oasis 、 WorldMem 等基线方法： 600 帧生成任务中， FVD 从 Oasis 的 875 降至 148 ；用户评估中，三维空间一致性和时间稳定性也显著提升。定性结果显示， PERSIST 能在数千帧交互推演中保持场景结构连贯，并能建模视野外环境的持续变化。 02 CoD-Lite ：基于扩散模型的实时生成式图像压缩 论文链接： https://arxiv.org/abs/2604.12525 在高性能生成式压缩领域，深度学习模型通常依靠大幅扩充参数量来提升视觉重建效果。这会带来极高的推理延迟，很难满足各类实时落地场景。如何平衡模型规模与运行效率，设计轻量化扩散架构是当下亟待解决的问题。 为突破这一局限，研究员们开展了多组实验分析，通过对比不同参数量的扩散模型性能，验证了压缩导向扩散预训练的优势。在轻量化模型上，相比通用生成扩散预训练方案，压缩导向扩散预训练能生成信息密度更高的图像表征，可弥补小模型表征能力不足的缺陷。研究员们同时发现，图像压缩任务并不需要全局注意力，轻量化卷积网络搭配蒸馏学习，即可还原完整的精细纹理。 基于这些发现，研究员们构建了一个轻量级的一步式卷积扩散图像编解码器。该方法采用紧凑的卷积主干网络，通过压缩导向扩散预训练和统一的蒸馏与对抗训练框架，成功实现了在 A100 GPU 上 1080p 分辨率下 60 FPS 的编码速度与 42 FPS 的解码速度。同时，该方法在保持与 MS-ILLM 等 GAN 类编解码器相当的 FID 指标的同时，可节省 85% 比特率，在提供高质量视觉重建的同时满足了低延迟的实时需求，有效搭建了生成式压缩与实际部署场景之间的桥梁。 图 2 ： 生成式图像编解码器的发展主要依赖于扩大模型规模，这导致解码延迟显著增加。相比之下， CoD-Lite 在感知质量与解码速度之间实现了更优的平衡：能够在 A100 GPU 上实现实时 1080p 解码，并同时达到接近当前最先进的 FID 值。解码器参数与解码时间如图所示 。 03 一个向量，装下整段视频：视觉生成模型里的隐式记忆表征 论文链接： https://arxiv.org/abs/2603.07615 现代视觉生成大模型经过海量数据训练，沉淀了丰富的图像、视频先验知识。但像素、隐变量、图像标记这类传统视觉表征都独立于生成模型，无法直接复用模型内置知识，很难实现超高压缩倍率下的高效存储与内容复用，传统编码方案在极低码率场景画质衰减严重。 对此，研究员们提出了全新的隐式视觉表征框架。该方案不再单独编码画面像素，而是把视觉信号建模为生成函数，依靠冻结扩散模型配套 LoRA 参数完成表征建模。像 81 帧长视频这类复杂视觉内容，都能进一步哈希压缩为单个紧凑向量，在极低比特条件下依旧保持优秀的视觉重建效果。 图 3 ： 基于扩散生成模型的单向量视觉压缩（左）和生成（右）框架 。 对比传统视频编码、生成式压缩基线的实验结果显示，这套隐式表征方案重建画质的优势明显。得益于函数化的表征设计，推理阶段可灵活拓展优化策略，通过推理时多路径采样细化还原细节，持续提升画面观感。另外，这种隐式表征可以作为视觉生成模型的记忆，使得生成相似内容时，可以充分保留记忆中的信息，例如动作、人物、背景等。该思路打通了视觉压缩与生成模型的边界，形成了统一的技术框架，为高效视觉存储、可控视觉记忆提供了全新的实现思路。 04 基于下一词元扩散的多模态隐式语言建模 论文链接： https://arxiv.org/abs/2412.08635 多模态生成长期面临异构数据难以统一建模的问题。文本和代码通常表示为离散词元，而图像、音频、视频及机器人动作等模态则具有连续性，二者难以在同一框架下进行统一处理。现有方案大多是拼接独立模块而搭建的流水线框架，不仅难以完成端到端的联合优化，还可能在模块的交互过程中产生信息损耗。 为解决上述问题，研究员们提出了潜语言建模 LatentLM 。该框架采用因果 Transf