DiffusionGemma 技术报告

计算机科学 > 计算和语言 arXiv:2608.00146 (cs) [提交于 2026 年 7 月 31 日] 标题：DiffusionGemma 技术报告 作者：DiffusionGemma 团队：Adrien Ali Taïga、James Assiene、Daniele Calandriello、Rahma Chaabouni、João Gante、Tamara von Glehn、Nate Keating、克里斯·克努森,马丁·库克拉,刘天林,伊万·洛博夫,奥菲尔·纳巴蒂,若昂·加布里埃尔·奥利维拉,尼古拉斯·佩雷斯-尼维斯,纳斯塔西娅·普鲁蒂诺娃,博巴克·沙赫里亚里,让·塔布里赫,帕维尔·泰列茨基,恰格拉尔·乌鲁,辛迪·吴,格伦·卡梅伦,杰罗姆·康纳,塞尔坦吉尔金, 马滕·格鲁滕多斯特, 阿隆·莱夫科维奇, 埃利亚·纳赫马尼, 奥马尔·桑塞维罗, 彼得·斯坦奇克, 昆汀·贝尔塞特, 安德鲁·坎贝尔, 克莱门特·克雷皮, 瓦伦丁·德·博尔托利, 阿诺·杜塞, 罗慕尔德·埃利, 亚历山大·加拉绍夫, 克劳斯·格雷夫, 亚历克西斯·雅克, 大卫·鲁赫, Yu-Han Wu、Sebastian Flennerhag、Brendan O'Donoghue、George Scrivener、Shantanu Thakoor 查看题为 DiffusionGemma 技术报告的 PDF 论文，作者：DiffusionGemma 团队：Adrien Ali Ta\"iga 和其他 42 位作者 查看 PDF HTML（实验） 摘要：我们介绍 DiffusionGemma，一种实验性开放权重语言模型，它使用离散扩散以异常的速度生成文本DiffusionGemma 不是一次解码一个标记，而是并行地迭代优化 256 个标记的块，避免了传统自回归 (AR) 大型语言模型的顺序解码瓶颈，而是通过微调具有 3.8B 个激活参数和 25.2B 个总参数的专家混合模型来获得 DiffusionGemma。第一阶段使用监督微调来教授双向降噪，而第二阶段将强化学习与采样器蒸馏相结合，共同提高生成质量和推理效率，在生成速度和模型能力之间建立一个新的帕累托前沿，在我们的整个评估套件中平均，每个前向传递生成约 20 个令牌，并在单个 NVIDIA 上实现每秒约 1,500 个输出令牌。即使采用最先进的推测解码，H100 GPU 也比 AR 模型快得多，尽管进行了扩散微调，但它仍然能够生成 AR，但性能仅略有下降，这表明了一条通往混合扩散-AR 解码的道路。 arXiv:2608.00146 [cs.CL]（或 arXiv:2608.00146v1 [cs.CL] 对于此版本） https://doi.org/10.48550/arXiv.2608.00146 arXiv 通过 DataCite 发布的 DOI 提交历史记录 来自：Jean Tarbouriech [ 查看电子邮件 ] [v1] 7 月 31 日星期五2026 16:11:46 UTC (6,116 KB) 全文链接：访问论文：查看标题为 DiffusionGemma 技术报告的 PDF 论文，作者：DiffusionGemma 团队：Adrien Ali Ta\"iga 和其他 42 位作者 查看 PDF HTML（实验性）TeX 源代码查看许可证 当前浏览上下文：cs.CL < 上一页 | 下一页下一页 > 新 |最近 | 2026-08 更改浏览方式：cs cs.AI 参考文献和引文 NASA ADS Google Scholar 语义学者正在加载... BibTeX 格式的引文正在加载... 数据提供者： 书签 书目工具 书目和引文工具 书目浏览器 切换书目浏览器（什么是浏览器？） 已连接论文 切换已连接论文（什么是已连接论文？） Litmaps切换 Litmaps（什么是 Litmaps？）scite.ai 切换 scite 智能引文（什么是智能引文？）与本文相关的代码、数据、媒体代码、数据和媒体 alphaXiv 切换 alphaXiv（什么是 alphaXiv？）代码链接 切换 CatalyzeX 论文代码查找器（什么是 CatalyzeX？） DagsHub 切换 DagsHub （什么是 DagsHub？） GotitPub 切换 Gotit.pub （什么是 GotitPub？） Huggingface 切换 Hugging Face （什么是 Huggingface？） ScienceCast 切换 ScienceCast （什么是 ScienceCast？） 演示 演示 Replicate 切换 复制 （什么是 Replicate？） Spaces 切换 Hugging Face 空间（什么是 Spaces？） Spaces 切换TXYZ.AI（什么是 TXYZ.AI？）相关论文推荐器和搜索工具链接到 Influence Flower Influence Flower（什么是 Influence Flowers？）核心推荐器切换 CORE 推荐器（什么是 CORE？）作者地点机构主题关于 arXivLabs arXivLabs：与社区合作者的实验项目 arXivLabs 是一个框架，允许合作者直接在我们的网站上开发和共享新的 arXiv 功能。与 arXivLabs 合作的个人和组织都接受并接受了我们开放、社区、卓越和用户数据隐私的价值观。 arXiv 致力于这些价值观，并且只与遵守这些价值观的合作伙伴合作。您有一个能为 arXiv 社区增加价值的项目想法吗？了解有关 arXivLabs 的更多信息。瓦时