Jev迎来中国挑战者：StartLux登顶决策模型榜单，还学会了“拿不准再想”

作者｜林绮蓓 编辑｜蔡芳芳 Jev此前的走红，让一类专门为AI系统提供判断结果的决策模型进入开发者视野。与通常生成一段文字回答问题的大语言模型不同，决策模型接收当前状态和候选选项，直接给出各个选项的概率，供Agent或其他程序决定下一步行动。 如今，这个赛道迎来了一位中国挑战者。 10 月 16 日更新的Hugging Face Decision Index 0.3.2榜单中，中国团队StartLux的27B Instant模型以69.12分位列174个参评条目第一，公开基准、同类能力私有测试及新领域私有测试三个部分的成绩均排名第一。 而在团队此前公布的Decision Index 0.3公开评测中，StartLux-Decision-27B-AutoThink取得73.37分，相比Jev托管版的57.96分，相对领先约27%。 这次发布的另一项变化，是让模型学会判断自己什么时候需要多想一会儿。 StartLux提供Instant与AutoThink两条路线：前者通过单次计算快速输出概率，后者则根据初始判断的置信度，决定是否启动额外推理。 StartLux提供Instant与AutoThink两条路线：前者通过单次计算快速输出概率，后者则根据初始判断的置信度，决定是否启动额外推理。 围绕何时启动推理、如何及时结束推理，StartLux还提出了RLCD²强化学习方法。其目标是改善决策概率的质量，同时约束不必要的推理开销。 这次更新也带出了一个更值得讨论的问题：当AI系统开始频繁调用模型进行任务路由、权限判断和工具选择时，模型给出的概率究竟有多可靠？增加推理又能在多大程度上改善最终决策？ 一、登顶决策模型榜单，StartLux比Jev强在哪里？ 从最新榜单来看，StartLux的领先已经获得公开排行榜的进一步验证。10月16日的Decision Index 0.3.2榜单中，27B Instant综合得分69.12，领先其余173个参评条目。其中，公开基准测试为72.88分，同类能力私有测试为64.82分，新领域私有测试为61.41分，三部分成绩均排名第一。 在团队公布的评测中，StartLux-Decision-27B-AutoThink以73.37分超过Jev托管版的57.96分，相对高出约27%。不过，进一步拆开成绩会发现，StartLux与Jev之间的差距，并不完全来自新增的推理能力。 同为27B规模的Instant版本，无需生成显式推理过程，就在DI 0.3公开子集取得72.83分，与AutoThink仅相差0.54分。在这套综合测试中，StartLux的直接判断路线已经取得了高于Jev的成绩。 这种优势也延伸到了较小规模的模型。2B Instant取得59.14分，略高于Jev托管版的57.96分；4B和9B Instant分别取得67.88分和69.96分。在0.8B至27B五个规模上，StartLux Instant均超过了参评的同规模最强第三方决策模型，分数优势约为7.4至16.9分。 既然Instant已经取得较高分数，AutoThink增加的推理能力究竟带来了什么？团队提出的另一项基准DecisionPivot提供了更具体的观察角度：当一道题的关键条件发生改变时，模型能否识别变化，并相应调整答案。 在这类任务上，Instant与AutoThink的差距明显扩大。27B Instant的成对准确率为75.4%，AutoThink达到86.9%，提高11.5个百分点。作为对照，Jev托管版为31.0%，Decision 3.0 d3为71.3%，Perplexity Decider v1.1为70.1%，采用低推理强度的GLM-5.3为82.2%。这些结果表明，额外推理在需要识别和处理关键条件的任务中，能够带来更明显的收益。 二、“拿不准再想”，AutoThink如何决定是否启动推理？ StartLux此次提供了Instant和AutoThink两条不同的决策路线。开发者向模型输入当前状态、问题和候选选项，模型返回各选项的概率。对于任务路由、工具调用、权限判断等场景，程序可以根据这些概率选择后续动作。两条路线的主要区别在于，模型是否需要生成额外的推理过程。 Instant覆盖0.8B、2B、4B、9B、27B五种规模，通过一次前向计算输出选项概率，不先生成一段推理文字。为了充分利用完整输入，Instant在全注意力层采用双向注意力，使前面的内容也能结合后面的问题和选项进行计算，以提升单次决策的准确率。 这种设计也使其适合高频决策场景。根据团队公布的推理测试，在单张NVIDIA H200 GPU上，采用vLLM、单个并发请求的条件下，0.8B至27B Instant模型的单次请求中位延迟约为25至52毫秒。这一结果来自特定硬件和测试配置，实际延迟仍会随输入长度、部署环境及并发负载变化。 AutoThink则覆盖4B、9B和27B，保留了生成推理所需的因果注意力。它首先计算各选项的初始概率：如果最高概率达到阈值，模型就直接返回；没有达到阈值，模型才生成推理过程，再次计算概率。系统最后融合两次结果，默认给推理后的结果75%权重，初始结果25%权重。 这一机制的关键，是开发者可以调整启动推理的阈值。当前服务默认阈值为0.6，论文公布的主要AutoThink成绩使用0.9。阈值越高，初始判断越难直接通过，模型就越可能进入推理流程。在仓库的一组对照实验中，团队将27B AutoThink的阈值从0.9降至0.6，DI 0.3得分由73.22降至72.85，DecisionPivot成对准确率却从88.1%降至68.4%。 这组结果揭示了按需推理的一个重要取舍：减少推理对综合评测分数的影响可能较小，但在需要识别复杂条件的决策任务中，却可能导致更明显的性能下降。因此，开发者不能只根据总体榜单成绩选择阈值，还需要考虑实际任务的复杂度，以及漏掉一次必要推理可能产生的后果。 团队还统计了模型在DecisionPivot核心任务上的实际决策过程。在7800个样本中，27B AutoThink直接回答了39%的问题，这部分准确率为96%；其余61%的问题进入推理流程，准确率从初始判断的57%升至融合后的93%。在这些启动推理的问题中，系统纠正了1783个初始错误，同时也引入了94个新错误。 需要注意的是，上文所说的“思考”特指生成额外的显式推理过程，并不意味着Instant完全不进行计算或判断。更重要的是，触发条件依赖模型自己的初始置信度。如果模型一开始就对错误答案具有较高置信度，仍可能直接跳过推理。因此，按需推理并不能从机制上消除过度自信的问题。 为了展示决策模型的实际使用方式，StartLux还公布了多个演示。在一段国际象棋演示中，初代StartLux-Decision-v1-27B执白对阵Jev 1.13，在第19回合完成将杀，双方均未使用搜索。 团队还将该模型用于《星际争霸Ⅱ》人族机器人的战略决策，并展示了战胜内置Hard AI的结果。 相比游戏任务，连续视觉决策演示更能呈现这种模型在动态环境中的使用方式。火箭发射演示中，模型根据连续画面识别尾焰、烟雾、发射塔及飞行阶段的变化，并针对每帧画面