SWE-1.7 接近 GPT 5.5 和 Opus Intelligence

今天，我们将推出 SWE-1.7，这是迄今为止我们训练过的最强大的模型。它以更低的成本达到前沿水平的智能，推进性价比帕累托曲线。 SWE-1.7 是我们 RL 管道广泛改进的结果：更好的基础设施、更稳定的训练、更高质量的数据以及用于长期任务的新技术。由于 SWE-1.7 是在 Kimi K2.7 基地进行训练的，该基地已经接受了广泛的强化学习后训练，因此我们自己的训练所带来的巨大额外收益挑战了“训练后上限”的想法，并表明强化学习可以比之前认为的更进一步推动能力。在 Cognition，我们一直在使用 FrontierCode 1 、 2 进行评估，现在使用 SWE-1.7 进行培训，从而制定和完善良好代理软件工程的原则。我们的模型特别针对长期异步任务进行了优化，这是高质量软件工程的重要组成部分。 SWE-1.7 现已通过 Cerebras 在 Devin（Web、桌面和 CLI）中以 1000 TPS 的速度提供。我们鼓励您亲自尝试一下！编码基准测试结果 代理编码基准测试的通过率 (%)。基准 SWE-1.7 Kimi K2.7 代码 GPT-5.5 Opus 4.8 Opus 4.7 GLM-5.2 Composer 2.5 SWE-1.6 FrontierCode 1.1 主要 42.3 % 30.1 % 43.0 % 46.5 % 38.5 % 24.5 % 25.6 % 9.4 %终端工作台 2.1 81.5 % 72.7 % 84.2 % 86.9 % 83.0 % 81.0 % 76.0 % 39.7 % SWE-工作台 多语言 77.8 % 73.5 % 76.8 % 84.4 % 80.5 % 74.5 % 71.6 % 58.3 % 本文的其余部分介绍了我们如何训练 SWE-1.7：模型背后的基础设施、算法和数据工作。我们涵盖了四个突出的重要组成部分。保持熵和稳定训练：长时间的强化学习运行面临着两个具有挑战性的问题：熵崩溃以及训练和推理之间的数值漂移导致的不稳定。我们找出并解决了每个问题的原因，这使得训练能够不断改进，远远超过早期跑步停滞的情况。多集群训练和容错：强化学习不需要在一个集群中进行所有推理计算。我们对跨越三大洲的集群进行了培训，通过对象存储发送权重更新，并构建了容错能力，以便硬件故障永远不会停止运行。管理高质量数据：我们构建了一个广泛的数据质量管道，通过自动执行测试运行每项任务，过滤掉学习信号较低的任务，并强化任务以防止奖励黑客行为。长范围任务的自压缩：模型学习总结其工作状态并从摘要中恢复，将任务范围扩展到原始上下文窗口之外。我们使用交替长度惩罚来激励简洁的输出而不牺牲正确性。最后，我们通过分享一些关于有趣的行为倾向的观察来得出结论，例如模型通过我们的训练设置获得的仔细探索和简洁推理。保持熵和稳定训练 # 我们发现训练稳定性是大规模可预测改进的关键因素。当使用异步 RL 进行训练时 3 ，我们遇到的最有问题的问题之一是推理和训练之间的 KL 散度不匹配 4 ，因为训练器策略通常与采样策略不同。过去，为了纠正这个问题（尽管规模较小），我们使用重要性采样 5 和量化感知训练来进行 NVFP4 + 专家路由回放 6 、 7 中的低精度部署。在这里，我们提出了额外的干预措施，这些干预措施在更大范围内变得更加重要。我们发现 top-p 采样 8 对避免熵崩溃 9 、 10 做出了重大贡献，在这种情况下，强大的模型会在几百步内停止探索并奖励平台。极低概率的标记通常是偏离轨道或脱离分布的轨迹的一部分。这些轨迹可能会产生低奖励，并且 softmax 函数的属性导致这些标记锐化标记概率分布。事实上，假设我们有三个 token，其 logits x 1 > x 2 ≫ x 3 x_1>x_2\gg x_3 x 1 ​ > x 2 ​ ≫ x 3 ​ 和概率 p i = e x i e x 1 + e x 2 + e x 3 p_i = \frac{e^{x_i}}{e^{x_1} + e^{x_2} + e^{x_3}} p i ​ = e x 1 ​ + e x 2 ​ + e x 3 ​ e x i ​ ，其中令牌 3 是导致低奖励的低概率令牌。如果我们对 token 3 进行采样，则其 logprob 相对于 logits x 1 , x 2 , x 3 x_1, x_2, x_3 x 1 ​ , x 2 ​ , x 3 ​的梯度为： ∇ log ⁡ p 3 = ∇ log ⁡ [ e x 3 e x 1 + e x 2 + e x 3 ] = [ − p 1 − p 2 p 1 + p 2 ] \nabla \log p_3=\nabla\log \left[\frac{e^{x_3}}{e^{x_1}+e^{x_2}+e^{x_3}}\right]= \begin{bmatrix} -p_1 \\ -p_2 \\ p_1+p_2 \end{bmatrix} ∇ lo g p 3 ​ = ∇ lo g [ e x 1 ​ + e x 2 ​ + e x 3 ​ e x 3 ​ ] = ​ − p 1 ​ − p 2 ​ p 1 ​ + p 2 ​ ​ ，logits 的策略梯度更新为 Δ x i ∝ A ^ ∇ log ⁡ p 3 \Delta x_i \propto \hat{A}\ \nabla \log p_3 Δ x i ​ ∝ A ^ ∇ lo g p 3 ​ ，其中 A ^ \hat{A} A ^ 是采样令牌的优势。由于这条轨迹赚了