MaxxBench –“DeepSWE 得分不错。但这是真的吗？”

我们改变了编码基准中的要求，并发现模型说服自己不再遵循这些要求。有时，代理人完全理解新的要求。它描述了需要更改的内容，考虑了实现，然后确定隐藏的测试可能需要其他内容。在一次运行中，一个模型正确地实现了更改，向另一个模型询问基准测试的原始答案，并在收到后删除了自己的正确代码。对于编码助理来说，这是一个尴尬的习惯。这也是一种熟悉的基准可以奖励的习惯。如果模型猜测了测试的预期，它就会得到与根据需求仔细工作的代理相同的通过结果。我们构建 MaxxBench 来检查编码性能在多大程度上取决于这些期望。它更改了 89 个 DeepSWE 任务的指令或起始代码，为熟悉工程工作的模型提供了修改其常用方法的理由。方法论：小变化……一旦基准变得流行，它就会成为开发过程的一部分。它的任务可以输入训练数据。它的分数影响检查点的选择。开发人员针对其故障调整提示和代理。有很多机会可以在特定的考试中取得更好的成绩。我们将与其特定任务和惯例相关的收益称为“基准最大化”。然后分数聚集在顶部附近，通常的反应是一个更难的基准。最近的版本（例如 FrontierSWE v2）已经推动了可以占用代理一天大部分时间的工程项目。我们选择 DeepSWE 的中等持续时间的功能实现任务，因为它们更接近我们想要评估的日常编码工作。在添加更多工作之前，我们想知道模型在处理已经得分良好的任务的变化方面的表现如何。例如，一项 DeepSWE 任务要求代理为每个浏览器编写单独的测试报告。我们添加了文件名必须小写的要求。报告功能仍然需要工作； Chrome.xml 现在应该是 chrome.xml 。另一项任务将停用日期添加到 FastAPI 路由。我们将所需的时间戳更改为带有尾随 Z 的 UTC，而不是保留提供的时区偏移量。示例突变 Testem FastAPI Vitest mnamer 命名浏览器报告 每个浏览器编写自己的报告文件，用下划线替换空格和标点符号； MaxxBench 还需要小写文件名。浏览器名称 浏览器名称示例 Chrome Chrome (Headless) firefox DeepSWE reports/ Chrom e _ _ Headless _ . xml MaxxBench 报告/chrome _ _ 无头 _ 。 x m l 探索任务 ↗ 这些更改类似于开发人员在审查第一个实现后可能提出的请求。代理必须在调整其行为的同时保持功能正常运行。其他突变会更改该功能的代码，包括可用于实现该功能的接口。我们修改参考解决方案并进行相应的测试，保留对仍然适用的行为的检查。这为我们提供了两个相关的工作版本，以及一种检查智能体适应成功或失败的方法。在所有任务中，MaxxBench 的参考补丁的中位数仅增长了 17 行 (3.5%)。对于有能力的编码人员来说，处理这种大小的细微修改应该是例行公事。 ...导致性能大幅下降 Claude Opus 5.5 和 Gemini 3.8 Flash 公布的 DeepSWE 分数均为约 74%。在 MaxxBench 上，他们的得分为 76.4% 和 53.4%。 23分的差距是他们之间选择的不同依据。原来的分数让他们看起来像同龄人；修改后的任务在处理工作变更的可靠性方面存在很大差异。 GPT-6 Astra 和 Opus 5 在 DeepSWE 上一开始也很接近，然后在 MaxxBench 上分别为 71.9% 和 63.5%。 DeepSWE MaxxBench 30% 40% 50% 60% 70% 80% 克劳德·奥普斯 5.5 74.2 克劳德·奥普斯 5.5 76.4 GPT-6 Astra 74.1 GPT-6 Astra 71.9 GPT-5.6 Sol 72.7 GPT-5.6 Sol 69.1 克劳德·寓言 5 69.9克劳德寓言 5 63.5 克劳德作品 5 73.6 克劳德作品 5 63.5 GLM-5.3 69.0 GLM-5.3 56.7 DeepSeek V4.1 闪存 74.2 DeepSeek V4.1 闪存 55.6 GLM-5.3 闪存 63.4 GLM-5.3 闪存 55.1 Gemini 3.8 闪存73.8 Gemini 3.8 Flash 53.4 GPT-5.6 Luna 67.2 GPT-5.6 Luna 46.1 Muse Spark 1.2 54.9 Muse Spark 1.2 38.8 DeepSeek V4 Flash 53.3 DeepSeek V4 Flash 28.1 DeepSWE MaxxBench 30 40 50 60 70 80 克劳德Opus 5.5 76.4 GPT-6 Astra 71.9 GPT-5.6 Sol 69.1 Claude Opus 5 63.5 GLM-5.3 56.7 Gemini 3.8 Flash 53.4 GPT-5.6 Luna 46.1 Muse Spark 1.2 38.8 DeepSeek V4 Flash 28.1 源数据 在此处比较的 12 种配置中，最高分和最低分之间的差距扩大了一倍多，从 DeepSWE 上的 20.9 个百分点扩大到 MaxxBench 上的 48.3 个百分点。六种配置在原始基准测试中彼此相差 1.5 个点，接近 74%，一旦要求发生变化，就会分散到 23.0 个点。完全适应新规格的模型脱离了该集群。 Claude Opus 5.5 以 76.4% 领先，略高于其 74.2% DeepSWE 基线，而 GPT-