全球首个Agentic扩散模型来了：边行动边纠错，128K上下文追平自回归

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 全球首个Agentic扩散模型来了：边行动边纠错，128K上下文追平自回归 鹭羽 2026-07-28 12:18:15 来源： 量子位 扩散模型首次打通长程Agent任务 鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI 终于！Agent赛道，不再是自回归（AR）模型一家独大。 长期处于非主流位置的 扩散模型 ，也开始有了一席之地。 这些年但凡叫得上名字的Agent，从ChatGPT到Claude，底层清一色因果自回归LLM。 逐Token生成慢是慢了点，但行业默认，Agent的大脑只能如此。 蚂蚁 却不这么想。 旗下inclusionAI团队陆续推出LLaDA系列模型，最新开源 LLaDA2.2 ，实现扩散模型首次进入智能体长程任务！ 准确来说，这是一款千亿参数的MoE扩散语言模型，原生支持128K上下文，也是全球 首个 大规模Agentic扩散模型。 总之自回归模型能干的，它也能干，自回归模型跑得慢的痛点，它也能一刀切。 更关键的是，它第一次将Levenshtein编辑、面向环境反馈的强化学习，以及长上下文工程架构，整合进同一套扩散模型Agent系统—— 模型不仅能并行生成，还能在生成过程中 自我增删 、 动态修正 。 LLaDA2.2的出现同样有迹可循，从2.0时期的规模化尝试，到2.1版本的边写边改，再到如今的智能体觉醒。 半年时间、三代模型，依次完成扩散架构从生成工具到行动架构的递进。 扩散模型破局自回归垄断 其实 自回归模型 能统治Agent赛道这么久，也是有几分道理在的。 多轮对话、工具调用、环境反馈处理，这些任务本身就天然要求模型具备序列因果性。 一个Token一个Token蹦，逻辑链条才不容易断。 传统扩散模型则可以同时处理一个block中的多个位置，速度是比自回归快了，但代价就是Token之间彼此 缺乏严格的序列条件约束 。 放在普通文本生成场景里，这些问题倒不算什么，顶多影响一点可读性，读者看到两句重复的话，笑一笑就算了。 但Agent场景不一样。 Agent的输出是要被真实执行的，再小的bug也会影响整个流程， 一步错步步错 ，错误会在后续交互中被持续固化成硬约束，最终导致整体目标漂移。 所以扩散模型想在更复杂困难的Agent环境中和自回归齐平，就须得迈过这一关。 对此，蚂蚁团队看得很清楚。 LLaDA2.0 首先解决的，就是 规模化 问题。 它证明扩散模型并不是只能停留在小参数实验阶段，也能够与MoE等架构结合，真正落地工程。 在验证路线可信的前提下，蚂蚁再顺势推舟给出 LLaDA2.1 ，进一步证明扩散模型 边写边改 的可用性。 LLaDA2.1引入Token-to-Token编辑机制，可以在生成过程中判断哪些Token应该保留，哪些Token需要替换。 但到了Agent，这样的局部修改还远远不够，它需要的是根本性的结构调整，实现 边行动边纠错 。 于是 LLaDA2.2 来了。 如何做到？三大技术拼图集中发力 LLaDA2.2的变化集中在三个方面，每一项单点突破固然重要，蚂蚁三合一系统集成在一起才是扩散模型拿到Agent入场券的重中之重。 让模型学会自改自生 传统扩散模型块并行解码的最大问题是结构刚性。生成完一个block，里面的Token就被钉死了。 要是错了，只能整段重来，长了也没法删，短了更没法补。 LLaDA2.2采用 Levenshtein编辑范式 ，在块内支持四种原子操作： KEEP （保留）、 SUBSTITUTE （替换）、 DELETE （删除）、 INSERT （插入）。 然后通过LCS最长公共子序列将块内草稿与目标序列对齐，动态生成编辑标签。 翻译一下就是，模型现在能对自己的生成结果修正了。 看到冗余的内容，直接DELETE切掉，发现缺了关键信息，INSERT可以在指定位置开一个口子，后续去噪轮次往里填。 这也是业界 第一次 把Levenshtein编辑大规模集成到扩散模型的去噪过程中，效果立竿见影。 实验显示，在SWE-bench Verified上，仅开启Levenshtein编辑这一项，就带来了从35.8到44.4，整整 8.6 个百分点的绝对提升。 让模型学会看环境反馈 除了结构刚性问题，扩散模型还有一个更为隐蔽的坑。 长程Agent交互中，早期block的微小偏差会被后续上下文不断放大。一旦返回了错误结果，模型再用这个错误结果去规划下一步，推理路径就会越走越窄。 ICML 2026的最佳论文还专门讨论过这个问题，它有一个专门的名字： 模型崩溃 （Model Collapse）。 常规修正方法是在错误外面包一层修正指令，显然这样做治标不治本。 LLaDA2.2提出的 L-EBPO （Levenshtein Editing Evidence Lower Bound Policy Optimization），可以把多轮交互中的Levenshtein编辑决策建模为 强化学习 问题。 模型会根据环境反馈，自主决策什么时候DELETE切除病灶、什么时候INSERT填补缺失。 如果说Levenshtein编辑范式是给了扩散模型一双手，L-EBPO就是添上了眼睛，让模型能实时看到自己的错误，知道从哪里做、做完效果如何。 让模型支撑长程Agent任务 解决完质量问题后，摆在扩散模型面前的还有最后一道坎—— 工程应用 。 Agent任务普遍需要处理超长上下文，上下文窗口不够大，Agent就举步维艰。 LLaDA2.2通过渐进式长上下文训练，一步步把原生上下文窗口从8K、64K撑到了 128K 。 随之而来的是另一重问题：标准MoE为Token级路由，每个Token独立选择专家，总激活专家集合极大，HBM流量、通信开销暴涨，推理成本飙升。 LLaDA2.2的解法是 BlockRouting 。 先在block层面精准筛选top-C个专家形成固定专家池，再内部执行Token级top-k路由，屏蔽池外专家。 这样每块激活专家上限恒定，HBM流量与专家并行通信成本得以大幅降低。 由此， 128K原生上下文+BlockRouting机制 让Agentic扩散模型真正具备了工程部署价值。 那么效果如何呢？ 且看七大Agent基准上，LLaDA 2.2-flash与顶尖自回归模型 Ling-2.6-flash 正面竞技，平均分为53.83 vs 55.74，差距缩小到2分以内。 严格来说，还没有完全跑赢，但二者已处于 相近水平 。 进一步拆开看，LLaDA 2.2在τ²-Bench、PinchBench、MCP-Atlas三项交互式任务上实现反超，说明它在偏向真实交互的Agent场景中已经开始展现竞争力。 效率方面则更干脆，在11类工作负载上，LLaDA2.2-flash的BF16平均吞吐量可达Ling-2.6-flash的1.64倍，量化至FP8后，平均吞吐量还可以额外提升 18.6% 。 同时结合此前已知的原生128K上下⽂