首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于

杀入Agent主场之后:两年内部分替代自回归,扩散智能的底气从何而来?| 专访

2026-11-19 1 阅读 约10分钟阅读 蔡芳芳
分享:
字号:
AI 已经开始替人写代码、操作软件、执行复杂任务,但支撑它们的主流大语言模型,仍然在一个 Token 接一个 Token 地生成答案。 扩散语言模型正在尝试另一种路径。它可以并行生成多个 Token,在生成过程中反复调整内容,而不必严格遵循从左到右的顺序。过去,这条路线最大的吸引力是速度;如今,随着 Agent 成为大模型竞争的重点,扩散模型也开始尝试证明自己能够完成更复杂的任务。 前不久,扩散智能(DiffuSpace)开源了 Clover-35B-A3B-Preview(下文简称 Clover),总参数量 350 亿,激活参数约 30 亿。11 月 19 日,团队正式发布技术报告,并同步开放 SFT 代码,进一步披露模型的架构设计、训练方法与评测结果。 技术报告链接:https://arxiv.org/abs/2611.24636开放代码链接:https://github.com/DiffuSpace/Clover-35B-A3B-Preview/tree/main/sft 在统一评测协议下,Clover 在技术报告所列对比模型中的七项 Agent 指标上均取得最高分,覆盖工具使用、专业工作和智能体编程。其中,SWE-bench Verified 达到 73.6,Terminal-Bench 2.1 达到 51.7。速度方面,在部分测试配置下,Clover 的 Token 生成速度达到同级别自回归模型的 5—10 倍。 但从生成 Token 到完成任务,还涉及工具调用、环境反馈、测试与代码修复等环节。更快的生成能够缩短其中一部分等待时间,而最终能够转化为多少实际生产力,还取决于任务本身和执行流程等多个方面。 “从生成提速到完整任务效率提高,团队还在持续验证。”扩散智能联合创始人、首席科学家龚珊三在接受 InfoQ 专访时坦言。为了让扩散模型能够高效处理长上下文和复杂任务,团队对底层架构进行了较大调整,采用分块扩散来减少重复计算,在当前生成块内实现双向信息交互。在此基础上如何进一步拓展双向建模的范围、发挥扩散模型的全局规划潜力,仍是团队接下来研究的重点。 龚珊三对这条技术路线保持着坚定的信心。她仍然坚持此前的判断:未来一到两年,扩散语言模型有机会在部分具体场景中替代同规模的自回归模型。从 2022 年少数研究者的早期探索,到如今进入 Agent 编程和工具使用的竞争,扩散模型究竟已经跨过了哪些门槛,又有哪些方向值得继续探索? 扩散模型想跑得更快,为什么反而要把文本切成小块? 2022 年,龚珊三开始探索扩散语言模型时,自回归生成已经是大语言模型领域热门技术路线。她参与的 DiffuSeq 是较早将扩散机制用于文本条件生成的研究之一。团队当时就意识到,这种生成方式可能带来更高的并行效率,也有望通过双向信息交互改善推理与全局规划能力。四年后回头看,龚珊三觉得,这条技术路线后来的发展,大部分都超出了最初的预期。 首先是 Scaling。2023 年,团队开始尝试扩大模型规模,但当时几乎没有成熟经验可以借鉴。可以探索的技术路径太多了,究竟哪一种有效、哪一种行不通,只能一个个试。团队最初尝试在连续空间中进行扩散建模,却发现学习复杂度很高,模型很难训练成功;后来转向离散空间,经过多轮实验才逐渐找到可行的路线。 比试错更难熬的,是不知道这条路究竟能不能走通。当时研究扩散语言模型的人很少,既不知道其他人是否也在做类似研究,也不知道这个方向究竟能走多远,这种未知对于研究人员来说本身就是一种挑战。从最初只有几个人探索,到后来形成研究小组,再到如今 Google、Inception、蚂蚁等越来越多团队加入,原本只有少数人探索的冷门方向,逐渐有了更多同行者,这让龚珊三更加确信,扩散语言模型有值得长期投入的发展潜力。 模型规模扩大后,一个问题变得越来越突出:如何让扩散模型在处理长上下文时,仍然保持高效生成?早期方案需要反复处理较大范围的序列,随着上下文增长,重复计算的成本也随之增加。 Clover 选择用分块扩散(Block Diffusion)缓解这一矛盾。模型将生成过程划分为多个 Block,每个块内部仍然通过扩散方式并行生成 Token,而已经完成的内容则可以通过 KV Cache 复用,避免反复计算历史上下文。这样既保留了块内并行生成的优势,也降低了长序列生成的开销。 但分块之后,模型必须同时处理两类信息:此前已经生成的历史内容,以及当前 Block 内需要相互参照的 Token。为此,Clover 对 Gated DeltaNet(GDN)进行了双向改造,形成 BD-GDN。相比主要面向从左到右生成的原有设计,BD-GDN 既要高效保存和读取历史信息,也要支持当前块内部的双向信息交互。 根据扩散智能的技术报告,Clover 采用混合架构,每四层为一组,包括三层 BD-GDN–dMoE 和一层 Full Attention–dMoE,重复十次。在具体实现上,团队将历史状态读取的信息与当前块内部的信息放在同一个 Softmax 中处理,并引入可学习的块大小校准机制;同时增加独立的右侧上下文卷积分支,让模型在处理当前位置时,也能够利用当前块内后续位置的信息。这些改造都是为了兼顾历史信息复用与块内双向建模。 Clover 采用分块扩散,在降低长序列生成开销的同时,利用块内双向信息交互,在 Agent 编程和工具使用等任务中取得了有竞争力的表现。而这还不是扩散模型双向建模能力的全部:当前模型仍按 Block 逐步向后生成,双向生成与修改主要发生在块内。 “真正的全局规划,就是从头到尾的全局规划,现在其实没有完全实现。”在龚珊三看来,尚未充分释放全局建模潜力的 Clover,已经展现出有竞争力的任务表现,也让团队更有信心继续探索。 扩大生成块是其中一个方向。技术报告显示,在完整的 64 条 Agent 历史轨迹前缀回放测试中,Clover 将块大小从 8 增至 16 后,每轮提交的 Token 数与实际吞吐量均有所提高。在此基础上,团队还将进一步研究更大的生成块对推理质量和任务表现的影响。 模型跑得快,Agent 完成任务也能同比提速吗? 对于希望进入实际应用的扩散语言模型来说,生成速度只是第一道门槛。如今,Agent 需要直接读取文件、调用工具、运行程序,并根据执行结果不断调整行动。模型能否完成这些复杂任务,已经和生成效率一样重要。Clover 35B 因此将 Agent 编程和工具使用作为重点方向。 在扩散智能公布的评测中,Clover 35B 在 SWE-bench Verified、Terminal-Bench 2.1 和 τ³ Overall 上分别取得 73.6、51.7 和 65.3 的成绩,在所列同规模自回归模型及其他扩散模型中领先。其中,SWE-bench Verified 包含 500 个经过人工核验的真实 GitHub 软件工程问题,要求模型理解代码仓库并完成修复;Terminal-Bench 2.1 则需要模型在终端环境中实际执行任务。 不过,Agent 的最终表现不仅取决于模型,还受到任务执行框架(Harness)、工具配置和上下文管理等因素影响。Clover 在公开评测中采用了与对照模
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱