停止向量：内化因果引导干预以进行有效推理

arXiv:2608.28859v1 公告类型：新 摘要：推理模型在知道答案时不会停止。在 DeepSeek-R1-Distill-Qwen-7B 上，思想链的运行时间大约是模型自身答案概率需要解决的两倍，并且可去除的多余部分因问题而异，因此全局长度惩罚无法将其消除。我们通过将因果可解释性发现内化到权重中来消除它。该机制是一个停止向量：该模型第 18 层的均值差方向，其转向强度控制其思考的时间长短，而复制的值轴则不执行任何操作。在权重中安装这种干预措施比看起来更难。最大化方向上的标量投影会破坏冻结的下游读取器所依赖的离轴尺寸，并且生成会变得更长而不是更短；有效的方法是重建整个引导激活，并将这些维度固定到其自然值。适合 24 个问题且没有强化学习，停止消除了在五个看不见的基准上保持准确性的大约四分之一的想法，并且削减跟踪每个问题自身的可移动松弛为 0.70。它还消除了一种非终止病态，这种病态随着困难而增长，并且解码时置信挂钩会使情况变得更糟。我们并不声称能够在原始权衡中击败经过精心调整的长度惩罚或解码时间提前退出；贡献在于如何获得停止。