决策模型何时需要思考？StartLux-Decision的按需推理与概率校准

经过决策训练的语言模型，重新打开生成开关后，未必还能稳定地推理。在研究者的实验中，4B 模型在约 40% 的问题上几乎不生成推理；9B 模型则走向另一端，在约 70% 的问题上持续生成，直到触及长度上限。 这两种相反的失败模式提示：让决策模型从「直接判断」转向「逐步计算」，并非一次开关操作。除了选对答案，模型还需要形成有效的推理过程，并在计算完成后适时结束。 来自 StartLux、香港大学与南方科技大学的研究者围绕这一问题提出 StartLux-Decision。 研究将单次预测版本 Instant 与按需推理版本 AutoThink 建立在统一的选项概率接口上，通过三阶段训练发展两类能力，并提出 RLCD²，以推理前后概率预测质量的变化训练推理策略。配套评测 DecisionPivot 则检验：当一个决定答案的细节发生变化时，模型能否相应改变决策。 论文标题：StartLux-Decision: AutoThink Decision Models with Reinforcement Learning for Calibrated Deliberative Decisions 论文链接：https://arxiv.org/abs/2610.17309 代码链接：https://github.com/StartLuxLabs/StartLux-Decision 模型权重：https://huggingface.co/startlux-models 统一的概率接口，两种注意力设计 请求路由、检索结果判断、工具调用校验和任务验收，通常不需要模型生成一篇解释，而需要它在明确的候选项之间作出判断。StartLux-Decision 将这类请求表示为 「输入状态＋问题＋候选选项」， 输出每个选项的概率，支持多选一、是非判断与等级评分。 概率直接来自语言模型已有的输出层。研究者将选项映射为 A、B、C 等字母，在提示的最后一个位置读取对应 logits，经温度缩放和 softmax 得到概率分布，不额外增加分类头。Instant 的单次预测，以及 AutoThink 推理前后的两次预测，采用相同的读出方式。 两种版本的区别首先体现在注意力结构。Instant 无需自回归生成，预测前已经获得完整输入，因此研究者在 Full Attention 层中去掉因果掩码，让提示内的 token 双向交互；Linear Attention 层仍保留因果计算。AutoThink 则保留因果注意力，以支持后续生成推理轨迹。 这里改变的不只是最后一个位置能看到哪些信息。因果模型的最终读出位置原本就能看到完整提示；双向化进一步允许前面的状态描述，在中间层整合后文的问题与候选项。对需要结合选项重新理解输入的决策任务，这提供了不同的表示计算方式。 图 1｜双向注意力的受控比较。左侧仅修改 Full Attention 层的提示注意力方向，Linear Attention 层仍保持因果计算；右侧为相同数据、相同初始检查点下的得分差异。（原论文图 4） 这项改动接受了同数据、同初始检查点的对照检验。五个参数规模中，四个规模的 DI 0.3 公开部分得分有所提高， 最高增幅为 2.4 分 ；2B 的变化为 −0.2 分，未呈现同样的收益。论文同时报告，相同训练配置下不同随机种子之间存在 0.2—0.7 分的波动。因此，实验支持双向注意力在多数设置中有效，而不是对所有规模都必然有效。 共享的决策能力由前两个训练阶段建立。 第一阶段对语言模型做全参数监督微调，0.8B—9B 使用约 270 万条决策样本，27B 使用约 80 万条；第二阶段使用约 170 万条样本训练并合并适配器，同时完成注意力方向的分化。Instant 到此形成单次预测模型，AutoThink 再进入推理监督与强化学习阶段。 图 2｜训练与推理流程。前两个阶段建立决策能力并分化注意力设计；第三阶段为 AutoThink 引入推理监督与 RLCD²。Instant 与 AutoThink 共用选项概率读出形式，但并非同一组发布权重。（原论文图 2） Read-or-Think：先预测，再决定是否推理 AutoThink 先以一次因果前向计算得到初始选项分布 p₀。按照论文的默认评测配置，最大选项概率达到 0.9 时直接返回；低于 0.9 时，模型重新处理提示，生成推理轨迹，再从轨迹末尾读取选项分布 p₁。初始预测、推理生成与最终读出均使用同一组模型参数。 进入推理分支后，最终输出不是完全覆盖初始预测，而是对两次分布加权： 其中，75% 的推理后权重根据训练分布预留样本上的 Brier 分数选择，关注的是整个概率分布的预测质量，而不只是最高概率选项是否正确。这一权重在 9B 和 27B 上使该分数最优，在 4B 上接近最优。 论文用同一条数据导出政策下的两个案例说明这一过程。政策规定，处于法律保全状态的数据通常需要人工审核，但导出少于 100 条记录时该规则不适用；另有规则要求，过去 30 天导出少于 2 次、且本次少于 500 条时可以批准。两例均未触发更高优先级的拒绝规则。 第一个案例申请导出 3,332 条记录，过去 30 天已有 1 次导出。模型一次预测便给「转交人工审核」约 0.96 的概率，超过阈值，因此直接作答。 第二个案例只导出 8 条记录，过去 30 天没有导出。模型初始仍偏向人工审核，但最高概率只有约 0.57，于是进入推理。它核对了「少于 100 条」这一例外，再检查批准条件，用 159 个 token 得到结论。推理后「批准」的概率约为 0.995，与初始预测融合后约为 0.848，最终选项随之改变。 图 3｜同一政策下的直接预测与推理修正。下方统计覆盖 7,800 道核心题：约 39% 直接作答，约 61% 进入推理。此图报告单题准确率，不是后文的成对准确率。（原论文图 3） 这一分流也体现在整体统计中。在 7,800 道 DecisionPivot 核心题上，27B AutoThink 对约 39% 的题直接作答， 单题准确率约为 96% ；其余约 61% 进入推理，融合后的 准确率由初始的约 57% 提升至约 93% 。推理纠正了 1,783 道原本答错的题，也引入了 94 道新错误。它改善的是一组被选中问题上的总体表现，并不保证每次展开推理都能修正答案。 RLCD²：用概率预测的改善评价推理 按置信度分流解决了何时触发推理的问题，但并不能保证被触发的推理有效。针对开篇提到的空推理与无法终止现象，第三阶段先使用约 4,000—21,000 条推理监督样本训练适配器，恢复各规模模型的推理生成与终止能力，再引入强化学习。 研究者提出的 RLCD² ，全称为 Reinforcement Learning for Calibrated Deliberative Decisions ，沿着 RLCD 与 OpenJev-RLCD 所探索的概率决策训练方向，显式优化推理对决策质量的贡献。 它与只奖励最终答案对错的训练存在一个区别：同样选中了正确答案，赋予它 0.55 还是 0.95 的概率，会影响下游系统是否自动执行、继续核验或交给人工处理。因此，奖