学会停止什么时候有帮助？推理模型中早期退出的成本意识研究

arXiv:2606.30852v1 公告类型：新摘要：推理模型在实例之间花费不同数量的有用计算，但尚不清楚学习的停止规则何时优于简单的置信度或收敛阈值。我们使用 LearnStop 研究这个问题，LearnStop 是一种用于推理语言模型的无隐藏状态检查点停止器。在固定预算检查点，LearnStop 从当前推理前缀探测简短答案，并根据答案置信度、熵、前缀投票份额、答案稳定性和回溯标记密度等在线特征预测前缀正确性。在 GSM8K、MATH-500、MMLU-Pro、AIME-90、GPQA、Qwen3 和 DeepSeek-R1 蒸馏等 18 个任务模型设置中，答案取决于任务。在自由形式数学中，学习的多特征停止改进了固定预算边界，并且常常击败标量退出：在带有 Qwen3-32B 的 GSM8K 上，经验边界达到 +0.157 的事后峰值适应增益，验证选择的操作点保留正增益，并且最强标量基线上的配对增益为 +0.028。在多项选择和非常困难的设置中，标量置信度、熵或稳定性规则具有竞争力或更强。因此，我们框架学习停止不是作为标量出口的通用替代品，而是作为一种其价值取决于轨迹结构的工具。我们进一步提供验证选择的操作点、配对引导测试、有限网格丢失正确风险校准、KV-fork、前缀缓存和黑盒制度下的成本核算、H100 服务配置文件、检查点计划扫描、传输分析和稳健性检查。主要的实际发现是，当许多问题在完全预算之前变得正确但没有表现出单个可靠的标量停止信号时，学习停止是有用的； its benefits largely disappear when confidence or answer convergence already solves the stopping problem.