首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于

基于能量的推理机:推理效率提高 385 倍

2026-11-18 1 阅读 约7分钟阅读 frenchmajesty
分享:
字号:
基于能量的推理器:您的循环推理器应该是基于能量的模型 William Chen 1 , Alexi Gladstone 2 , Zeyu Li 1 , Heng Ji 2 , Yilun Du 3 1 杜克大学 2 UIUC 3 哈佛大学 arXiv 代码 TL;DR – 我们介绍基于能量的推理器 (EBR) ,推理模型可以学习潜在推理状态的能量函数,并将循环更新制定为梯度下降这种能量。它的值无需外部验证器即可对候选预测进行评分,而其梯度则可指导细化并提供自然的停止信号。只需 180 万个参数,EBR 在 Sudoku-Extreme 上即可实现 99.9% 的准确度,同时使用的推理计算量比次佳模型少 345 倍。在 N-Queens 和图形着色上,EBR 实现了最先进的覆盖率,同时保持接近 100% 的单样本准确性。摘要循环是一种强大的推理归纳偏差。通过重复迭代循环块,循环模型可以扩展其有效深度并在潜在空间中实现多步推理。然而,现有的循环模型本质上并没有明确的进度度量来指导,因此很难确定何时停止循环以及如何改进当前状态。为了实现这一点,我们引入了基于能量的推理器(EBR),它学习潜在推理状态的能量函数,并将循环更新制定为该能量的梯度下降。能量对潜在状态进行评分,而其梯度指导细化并提供停止信号。为了有效地训练 EBR,我们进一步引入基于探索的训练来发现其他模式并更好地塑造更广泛的州的能源格局。在四个算法推理基准中,EBR 匹配或优于先前的循环推理模型,在 Sudoku-Extreme 上实现 99.9% 的准确率,同时使用比次佳模型少 345 倍的推理计算,并保持可比较的训练计算。在所有多解决方案基准测试中,EBR 实现了对不同有效解决方案的最先进的覆盖,同时保持接近 100% 的单样本准确性。这些结果表明,基于能量的模型是实现强推理性能的一种有前途的方法。为什么选择能源?现有的循环推理器会更新其潜在状态,而无需对其进行任何明确的评估。 EBR 学习指导细化、停止和选择的能量函数。 E θ​ ( z ; x ) ∈ R 分数。能量对推理状态 z 和初始板 x 之间的兼容性进行评级。越低意味着兼容性越好。 z t + 1 ​ = Π M ​ ( z t ​ − α ∇ z ​ E θ ​ ( z t ; x ) ) 精炼。梯度将分数转变为改进方向。 ​ ∇ M ​ E θ ​ ( z ; x ) ​ < τ 停止。一旦梯度很小,状态就会变得平稳,因此梯度充当停止标准。 k ⋆ = arg k min ​ E θ ​ ( z ( k ) ; x ) 选择。在多个候选解决方案中,我们选择能量最低的一个。正确的解决方案稳定在低能量静止状态。数独极限下降过程中的能量、梯度范数和步长。正确的轨迹会以低能量和小梯度稳定下来,而错误的轨迹会继续移动。测试时间缩放运行更多的下降步骤可以进一步完善每个答案,运行更多的轨迹可以为更多的候选者提供能量,以从中选择能量最低的答案。 EBR 达到 EqR 的最佳精度,迭代次数减少了 7 倍(左),样本减少了 43 倍(右)。 GRAM和TRM来自GRAM的论文;来自其发布的检查点的 EqR。三颗种子的平均值±SD。自适应停止 一旦能量梯度低于阈值,每个轨迹都会停止,因此简单的谜题只需几步即可完成,而困难的谜题则继续进行。方法# 参数 Sudoku-Extreme ↑ Maze-Hard ↑ 单样本 (%) TRM 5–7M 87.4 85.3 EqR 5–7M 93.0 – FPRM 7M 94.2 87.0 GRAM 10M 86.6 – 循环流 5–7M 97.9 86.7 EBR 我们的 1.8M 99.4 87.4 多个样本 (%),括号内样本数量 N PTRM 5–7M 98.8 (100) 86.7 (100) EqR 5–7M 99.8 (128) – GRAM 10M 96.1 (20) – 循环流 5–7M 99.3 (5) 86.9 (5) EBR 我们的 1.8M 99.9 (5) 88.3 (5) EBR 在推理模型中给出了最佳的单样本精度。仅通过 5 次,它们就达到了 99.9% 和 88.3%,领先于绘制 128 次的方法。一旦能量梯度低于阈值,就停止每条轨迹,与固定深度 EBR 相比,其准确率保持在 99.9%,而 FLOP 数减少了 10.9 倍,使我们能够以 345 倍的 FLOP 数超越 EqR。多种解决方案 EBR 的作用类似于随机梯度下降,可以捕获许多不同的解决方案。覆盖率捕获 20 个样本找到的每个输入的不同有效解决方案的份额。方法 N-Queens 图形着色 8×8 10×10 8 顶点 10 顶点 单样本 Pass@1 (%) ↑ 冲突 ↓ TRM 66.8 17.5 109.3 170.7 GRAM 99.5 89.7 8.3 31.3 EBR 我们的 100 99.5 0 0 20 个样本Cov@20 (%) ↑ Cov@20 (%) ↑ TRM 22.6 2.0 22.3 6.8 GRAM 89.7 57.5 85.8 51.3 EBR 我们的 98.1 92.0 88.6 54.5 Pass@1 (%) 和冲突(测试图上的边缘求和)使用一个样本。 Cov@20 是不同有效解决方案的份额
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱