Dust：在没有反向传播的情况下预训练 Transformer

灰尘：没有反向传播的预训练变压器 Samip Dahal、Bishwas Mandal、Serdar Gülbahar、Akshay Vegesna 2026 年 10 月 通讯作者：s@qlabs.sh · 代码 · 引用副本 @misc{dahal2026backprop，标题 = {灰尘：没有反向传播的预训练变压器}，作者 = {Dahal、Samip 和 Mandal、Bishwas 和G{\"u}lbahar, Serdar and Vegesna, Akshay}, Year = {2026}, url = {https://qlabs.sh/research/dust} } TL;DR 我们提出了第一个零阶方法，在预训练 Transformer 语言模型方面与反向传播竞争。Dust 在每个 token 上独立扰动激活（节点扰动），因此每个 token 都是一个虚拟群体成员，并且一个前向传递并行评估它们。Dust在大量人口（即更多的计算）下接近反向传播，并且在多个设置中甚至超过它。这暗示在计算丰富的情况下，Dust 的效率比权重空间 ES 的效率高几个数量级。根据我们的推断，Dust 比 EGGROLL（一种最先进的 ES 方法）的 Transformer 实现效率高出 10^3$ 到 10^4$ 倍。令人惊讶的是，我们发现更大的模型在群体效率上更高，而不是更小：在大多数群体规模下，Dust 的梯度估计与反向传播更好地保持一致，并且在我们测试的每个规模（最多 1B 个代币）上保持良好的一致性，这对于扩展来说是令人鼓舞的。 2.1 激活空间扰动 2.2 信用分配 2.3 干扰和调整 3 无需后向传递的预训练 3.1 设置 3.2 主要结果 3.3 Adam 下的灰尘 4 高维空间中的搜索 4.1 过参数化 4.2 类似反向传播的梯度的出现 5 结论 6 相关工作参考文献 附录 1 引言 深度学习是围绕反向传播构建的，唯一的信用分配算法能够训练现代神经网络，包括基于 Transformer 的语言模型。反向传播需要可微性并产生一阶梯度，而深度学习的架构、优化器和硬件已经围绕这一约束共同发展。然而，随着世界上可用计算量的增加，我们可能更喜欢基于搜索的更通用和强力的学习算法，而不是可微性、反向传播和高阶梯度的近似。 Richard S. Sutton。http://www.incompleteideas.net/IncIdeas/BitterLesson.html，2019 年。博客文章）是通过计算进行扩展的通用方法最终获胜，AlphaGo Zero（Silver 等人，2017 David Silver、Julian Schrittwieser、Karen Simonyan、Ioannis Antonoglou、Aja Huang、Arthur Guez、Thomas Hubert、Lucas Baker、Matthew） Lai、Adrian Bolton、Yutian Chen、Timothy Lillicrap、Fan Hui、Laurent Sifre、George van den Driessche、Thore Graepel 和 Demis Hassabis，《在没有人类知识的情况下掌握围棋游戏》，550 (7676): 354–359, 2017. doi: 10.1038/nature24270 ）就是一个明显的例子。在人类数据上引导 AlphaGo 最初帮助网络学习得更快，但通过大量计算，纯自博网络超越了它。类似地，可微性和反向传播在低计算范围内可能是很好的归纳偏差，它们使学习变得高效，但在高计算范围内，它们限制了有效的架构空间。即使在架构内，基于梯度的方法也无法最佳地探索损失情况（Liu et al., 2020 Shenchao Liu, Dimitris）。 Papailiopoulos 和 Dimitris Achlioptas。《神经信息处理系统进展》，第 33 卷，2020 年。）这也可以解释为什么基于搜索的更灵活的信用分配算法可能是实现更好泛化的重要一步。更不用说分析结构了。Dust 是一种零阶优化算法，它扰动激活，通过降低损失的程度来奖励每个扰动，并对总体的奖励加权扰动进行平均以估计扰动权重的传统 ES 方法（Salimans 等人，2017 年 Tim Salimans、Jonathan Ho、Xi Chen、Szymon Sidor 和 Ilya Sutskever）。进化策略作为强化学习的可扩展替代方案 arXiv 预印本 arXiv:1703.03864, 2017.)，如 EGGROLL (Sarkar et al., 2025 Bidipta Sarkar, Mattie Fellows, Juan Agustin Duque, Alistair Letcher, Antonio León Villares, Anya Sims, Clarisse Wibault, Dmitry Samsonov, Dylan Cope, Jarek Liesen、李康、Lukas Seier、Theo Wolf、Uljad Berdica、Valentin M