ACL + ICML 上新 | 从世界建模到高效训练：让大模型成为更好的智能体

（本文阅读时间：15分钟） 编者按： 欢迎阅读 “ 科研上新 ” 栏目！这里汇聚了微软亚洲研究院最新的创新成果与科研动态，助你快速捕捉前沿技术脉搏，保持对 AI 领域发展的敏锐嗅觉。 作为人工智能领域最具影响力的两大学术会议， ACL 与 ICML 汇聚了自然语言处理、机器学习及智能体等方向的最新研究成果。今年，微软亚洲研究院有多篇论文入选两大会议，持续推动大语言模型与智能体技术的发展。本期 “ 科研上新 ” 将精选介绍五项最新研究，内容涵盖文本世界模型、多模态视觉推理、 GUI 智能体训练环境合成、大语言模型高效训练以及在线监督微调等方向。 欢迎大家 参与文末投票 ， 选出你最感兴趣的论文 ！我们将邀请论文的作者们与你在 直播间 进行前沿技术的 交流与探讨 ！ 「 本期内容速览 」 01 面向视觉 - 语言推理的分解式在线蒸馏：通过梯度引导实现视觉定位（ ICML 2026 Spotlight ） 02 从文字到世界：大语言模型能否成为隐式的文本世界模型？（ ACL 2026 Oral ） 03 InfiniteWeb ：可扩展的网页训练环境合成 04 迈向高效的大语言模型退火训练：基于原则性样本选择的方法 05 通往在线监督微调（ On-Policy SFT ）：分布判别理论及其在大语言模型训练中的应用 01 面向视觉 - 语言推理的分解式在线蒸馏：通过梯度引导实现视觉定位（ ICML 2026 Spotlight） 论文链接： https://arxiv.org/abs/2606.00564 多模态大语言模型在利用策略蒸馏进行推理训练时，往往受限于单一的单片式目标函数。这种方法未能充分考虑多模态任务中语言建模与视觉感知之间的内在张力，导致模型在处理需深入理解图像的复杂推理任务时，其视觉接地能力（ visual grounding ）常成为性能提升的主要瓶颈。 为解决这一难题，研究员们通过数学分解损失函数，揭示了语言先验与视觉接地目标在几何空间上近乎正交的特性。常规的单片式蒸馏被动平衡两者，未能有效强制模型增强感知保真度。对此，研究员们提出一种视觉梯度引导方法 VGS （ Visual Gradient Steering ）。该方法引入辅助视觉目标，通过动态重定向优化轨迹，显式优先处理视觉子空间，并结合语言保持正则化器，在强化视觉接地的同时，防止了对原有语言推理能力的负面影响。 图 1 ： 视觉梯度引导 VGS 的概述。（左）针对多模态查询（图像 I 和提示 x ），从学生模型策略中采样一个 rollout τ ，并分别在多模态（ I ， x ）和单模态（仅文本）场景下计算学生模型与教师模型的对数概率。（中）将标准的整体目标分解为两个独立组件：语言先验（ LLang ）用于匹配教师模型的纯文本分布；视觉锚定目标（ LVis ）则旨在构建 q ∗ T 分布以提取教师模型的视觉信息增益。（右）几何分析表明，标准蒸馏方法（ LStandard ）在这两个通常相互独立的目标之间起到了被动折衷的作用。而 VGS 则明确将梯度更新导向视觉子空间（ LVis ），优先考虑感知保真度而非通用语言建模 。 实验表明， VGS 显著提升了学生模型在多项复杂多模态推理基准测试中的表现，不仅在纯蒸馏设置下效果优越，还可作为一种有效的正则化手段融入强化学习微调流程，在保持模型推理链连贯性的基础上，显著增强了感知准确度。 02 从文字到世界：大语言模型能否成为隐式的文本世界模型？（ ACL 2026 Oral ） 论文链接： https://arxiv.org/abs/2512.18832 智能体学习高度依赖交互经验，但真实环境交互成本高昂、覆盖有限且推理阶段动作不可逆，严重制约了智能体的规模化训练与可靠决策。世界模型有望缓解这些瓶颈，但大语言模型能否作为可靠的世界模型并为下游智能体带来实质收益，尚缺乏系统性评估。 对此，研究员们提出了一个由保真度与一致性、可扩展性与鲁棒性以及智能体效能组成的三层评估框架。该框架聚焦文本环境，将其作为连接语言建模与世界建模的受控统一接口，并将目标从单纯的下一词预测，重构为交互协议下的下一状态预测。 图 2 ： 大语言模型作为基于文本的智能体学习世界模型。现实世界的交互过程成本高昂、速度缓慢且往往不可逆。通过根据用户操作预测环境动态，基于大语言模型的世界模型能够实现低成本的数据合成、可扩展的学习以及可回溯的决策过程 。 通过在五种代表性文本环境中对该框架的评估，研究员们发现：首先，经过充分训练的模型能够捕捉环境的内隐动态，并在结构化设置中表现出高度的保真度，而监督微调对实现高保真建模至关重要。其次，世界模型性能随数据量、模型参数规模及环境复杂度的增加系统性地扩展，展现出良好的可扩展性。最后，高质量的世界模型能为下游智能体带来明确提升，例如，在 WebShop 环境中，行动验证使 GPT-4o 的性能提高了 5.5% ，而在 SciWorld 环境中，采用热启动强化学习实现了约 15% 的增益。这证实了将语言模型作为文本环境世界模型的潜力，同时明确了其在数据合成、模型内推理及可靠决策制定方面的应用价值，为推动智能体学习从文本领域向更广泛的场景演进奠定了实证基础。 03 InfiniteWeb ：可扩展的网页训练环境合成 论文链接： https://arxiv.org/abs/2601.04126 GUI 智能体在代表用户与图形界面交互方面展现出了巨大的潜力，也是构建实用 AI 助手的重要方向。然而，训练这些智能体缺乏能够支持大规模训练的合适环境。尽管已有一些基准测试提供了宝贵的测试平台，但它们使用的真实网站由于多样性单一、网站限流、任务不可撤销等等问题，难以作为训练环境进行稳定的强化学习。 为此，研究员们推出 InfiniteWeb 系统，能够大规模自动生成适用于 GUI 智能体训练的功能性网页虚拟环境。该系统以网站种子描述和参考设计图为输入，通过统一接口规范，由任务推导共享数据模型与 API ，确保跨页数据的一致性。 在功能层面，系统采用任务驱动测试开发模式，迭代修正任务相关的业务逻辑以保证功能正确性。视觉上，系统结合从真实网页截图中提取的视觉特征引导前端生成，维持页面风格的多样性。此外，系统还能自动产生带有代码插桩的可验证任务评测器，输出稠密奖励信号供智能体训练使用。 图 3 ： InfiniteWeb 生成的多样化网站示例，涵盖电子商务、预订平台、社交媒体等多个领域 。 文章进行了端到端的虚拟环境训练和真实环境测试。实验结果表明， InfiniteWeb 系统在构建真实网页环境方面超越了主流的商用代码智能体。以此合成环境训练的 GUI 智能体，在 OSWorld 、 Online-Mind2Web 和 MobileWorld 上分别提升 6.9% 、 5.7% 和 3.9% 。这证明合成环境具备较高真实性与跨平台迁移价值，为大规模 GUI 智能体训练提供了可扩展的环境合成方案。 04 迈向高效的大语言模型退火训练：基于原则性样本选择的方法 论文链接： https://arxiv.org/abs/2605.31175 大语言模型预训练的退火阶段是模型最终收敛并确立质量的关键时期