推理解决的目标是什么？

推理就像在符号空间中寻找路径。推理作为探路。每个样本 $z$ 都试图在 $\Scal_x$ 中找到从起始上下文 $x$ 到正确答案 $y(z)$ 的路径。有一个直观但简化的推理图：让模型思考更长时间，它更有可能是正确的。这与我们人类的直觉非常吻合：花更多的时间和精力去思考，我们就更有可能得出正确的答案。但这张图似乎并不能说明一切。在强化学习训练期间，模型学习写出更长的思想链，并且它们会变得更加准确。然而，如果你采用经过训练的模型并强迫任何一条链运行更长的时间，它会在一段时间内有所帮助，然后就不再有帮助了。有时答案甚至变得更糟，好像想太多了。如果一连串的思想确实朝着某个最佳方向收敛，那么更多的步骤不应让情况变得更糟。那么每条链的长度真的对推理时间有帮助吗？或者是更微妙的东西？这篇文章是我试图通过将推理视为通过令牌空间进行寻路来澄清这种困惑（主要是为了我自己）。我们会看到强化学习最大化了找到从 $x$ 到 $\Scal_x$ 的路径的概率，但单个路径并不能保证收敛到正确答案。作为奖励，这种观点澄清了关于推理模型的一些奇怪的观察，例如不忠实的思想链和奖励黑客。推理作为寻路 # 向推理模型提出相同的数学问题十次，你会得到十个不同的思想链。我们不要将推理视为一个通向答案的神秘过程，而是将其视为令牌空间中的寻路。从问题到正确答案有很多条路径，模型会用每个样本遍历其中一条路径。考虑这个问题：“$1 + 2 + 3 + \cdots + 10$ 是多少”？一种解决方案是将数字一次一个地相加：1、3、6、10，依此类推，直到 55。另一种方法是将它们从外向内配对：$1 + 10$、$2 + 9$、$3 + 8$、$4 + 7$ 和 $5 + 6$ 各为 11，五对 11 为 55。这两条路径都得出正确答案 55。我们可以考虑推理遵循这个一般模式。我们有一个起点，即提示，我们将其称为 $x$。我们想要找到一条从 $x$ 开始并以正确答案 $y$ 结束的路径 $z$。为了判断路径是否到达正确的位置，我们假设有一个验证器 $r(x, y)$，如果 $y$ 正确则返回 1，如果不正确则返回 0。因此，给定一个起点 $x$，我们希望找到一条落在集合 $$\Scal_x = \{y : r(x, y) = 1\}.$$ 中的标记 $z$ 的路径。$$ 本文顶部的图描绘了这张图。每条灰线都是一个采样路径：它从左侧的提示开始，通过采样 $z$ 在标记空间中蜿蜒，其中一些路径落在 $\Scal_x$ 中。由于许多路径都落在 $\Scal_x$ 中，因此成功概率将所有路径相加。令 $\pi(z \mid x)$ 为模型在给定提示 $x$ 的情况下生成路径 $z$ 的概率，$y(z)$ 为 $z$ 末尾的最终答案。成功概率是生成每条路径的概率，乘以路径落在 $\Scal_x$ 中的概率，对每条路径求和： $$p_x = \prob{\text{路径落在 } \Scal_x \mid x} = \sum_{z} \underbrace{\pi(z \mid x)}_{\text{样本路径 } z}\; \underbrace{\prob{y(z) \in \Scal_x \mid z}}_{\text{path } z \text{ 落在 }\Scal_x}。$$ 如果路径落在 $\Scal_x$ 中，则第二个因子仅为 1，否则为 0，因此我们仅对落在 $\Scal_x$ 中的路径概率求和： $$p_x = \sum_{z} \pi(z \mid x)\, \ind{y(z) \in \Scal_x} = \sum_{z \,:\, y(z) \in \Scal_x} \pi(z \mid x).$$ 我们将 $p_x$ 称为成功概率 。最大化这个概率意味着我们的模型将更有可能对落在 $\Scal_x$ 中的路径进行采样。请注意，有两种方法可以提高此概率。模型可以对通向同一答案的多条路径（每条路径的概率都很小）进行采样，或者模型可以对通向答案的单个路径进行极高的概率采样。成功概率并不关心我们得到哪一条，但在实践中我们可能希望优先考虑特定路径或确保样本的多样性。我们如何提高成功概率？ # Best-of-$k$ 采样 # 最简单的寻路方法是让模型 $\pi$ 不断对路径 $z$ 进行采样，直到到达 $\Scal_x$。由于我们假设我们有一个验证者，因此我们可以进行 best-of-$k$ 采样，对 $k$ 路径进行采样并寻找成功。每条路径错过的概率为 $1 - p_x$，因此所有 $k$ 错过的概率为 $(1-p_x)^k$，并且成功概率从 $p_x$ 上升到 $$\prob{\text{至少有一条 } k \text{ 路径落在 } \Scal_x \mid x} = 1 - \underbrace{(1-p_x)^k}_{\text{所有 } k \text{ 路径中miss}}.$$ 这是计算扩展的保证轴。只要 $p_x > 0$，当我们采样更多路径时，成功概率单调增加，因此在更多样本上花费更多计算总是有帮助的，正如 Bro 早期所见