开发者生态
morning
在 27,280 次编码代理运行中,64% 的推理支出用于失败的运行
2026-11-18
1 阅读
约7分钟阅读
Edward40
字号:
TL;DR 我们与 Baseten 合作,在 27,280 次代理运行中使用 83B 代币构建了最大规模的线束排行榜。我们想回答两个问题:当您更换型号时,是否也应该考虑更换线束?每种型号的最佳安全带是什么?此前,我们的 v1.0 FrontierHarness 排行榜对单一型号 Kimi K3 上的安全带进行了排名。 V1.1将基准扩展至22个线束×5个模型×62个任务×4次尝试,是v1.0大小的76倍。通过我们的实验,我们发现您在切换模型时应该考虑切换线束,以最大限度地提高您的体验。每个型号都有不同的最佳价值(通过率与成本)工具:带有 GLM-5.3 的 Codex CLI、带有 GLM-5.3 Flash 的 Pi、带有 DeepSeek V4.1 Flash 1017 的 ZCode、带有 Muse 的 Oh My Pi 和带有 Kimi-K3 的 Alma。不同型号之间的成本排名相差很大。按每项任务的成本计算,中位线束移动了 22 个位置中的 11 个位置,Codex CLI 从 GLM-5.3 的第一名上升到 Kimi-K3 的第 16 位。结果 图 1. 每项任务的成本和每个线束的通过率 每个点都是一个线束:越靠左,每项任务的平均成本越低,越高,通过率越高。橙色线连接的线束在成本和通过率方面没有任何其他线束能够超越。选择一个模型来过滤本文的所有图片。在所有模型中,有四种工具上线:OpenCode v2(每任务成本最低,0.561 美元)、Pi、Codex CLI 和 ZCode(通过率最高,61.9%)。其他的成本高达 1.6 倍,超过 50.6% 至 60.2%。每张卡都指定了一种型号的最佳价值线束:每次通过的成本最低,除非另一种线束每次通过的成本最多高出 30%,并且通过的频率至少高出 5 点。这条规则选择了 ZCode,而不是使用 DeepSeek 的 OpenCode v1(成本高出 25%,多出 7.7 分),选择 Alma 而不是使用 Kimi-K3 的 Oh My Pi(成本高出 9%,多出 6.5 分)。为什么我们构建 FrontierHarness Eval v1.1 V1.0 使用一种模型运行九种线束。他们的通过率相差不到 17 个百分点,但每次通过的平均成本却相差 17 倍。我们认为这主要来自线束和模型对:对于一个模型来说便宜的线束对于另一个模型来说可能很昂贵。 V1.1 运行每个线束的五个模型。我们测试的安全带。 18 条安全带。四个 DeepSeek Harness 配置文件具有不同的工具集,并且 OpenCode 以两个版本运行。每个单独计数:22 种配置。附录中的表 2 给出了它们的版本。模型。 Baseten 服务于所有五个:GLM-5.3 (zai-org/GLM-5.3)、GLM Flash (zai-org/GLM-5.3-Flash)、DeepSeek (deepSeek-ai/DeepSeek-V4.1-Flash-1017)、Muse (meta-models/muse-spark-open) 和 Kimi-K3 (moonshotai/Kimi-K3)。任务。 62 个终端任务。时间限制是任务的时间限制,从 15 分钟到 8 小时。设置和评分 配置和运行时 我们使用每个安全带的默认设置运行 Harbor 评估,因为我们认为这最接近人们每天使用安全带的方式。每个线束都使用与所有模型相同的版本和设置,并尽最大努力进行推理。图 2. Harbor 和 Runta 如何划分每次试验中的工作 每个试验都会获得一个新的 Runta 运行时,该运行时最后会被删除。因此,任何审判都无法看到早期审判的文件。评分方法 表 1. 方法 单元是一对线束和模型。我们使用仪表板的两个成本指标: 每个任务的平均成本:每个任务的定价试验的平均成本,然后是任务的平均值。图 1 和成本等级使用它(图 4 和 5)。每次通过成本:每个任务的平均成本除以通过率。最有价值的安全带就使用它(图 3、6 和 7)。我们按每次通过成本选择最佳值,因为我们希望在通过率与每次任务成本图表的左上方使用线束:以低成本实现高通过率。从原点到线束点绘制一条线。它的斜率,通过率 ÷ 成本,就是每美元的通过率。每次通过的成本是该斜率的倒数,因此每次通过的成本最低,线最陡。对试验日志的审计标记出 216 次奖励黑客试验,其中 163 次是在线查找。这些试验得分为 0。附录中的表 3 给出了每个线束和模型的计数。按模型划分的结果 图 3. 每个模型的每个线束的成本和合格率 较深的单元的成本低于其列中的其他单元。 Codex CLI 的 GLM-5.3 单次最便宜,为 0.803 美元,但 Muse 排名第 12,Kimi-K3 排名第 10。在所有型号中,它的单次成本最低,为 0.937 美元,Antigravity CLI 的成本最高,为 1.63 美元。这些结果有多确定?我们将这 62 项任务重新绘制了 4,000 次,并每次都选择了最有价值的安全带。 Codex CLI 凭借 GLM-5.3 在 99.6% 的抽签中保持第一。其他四位获胜者是最有可能的几种紧密结合:Oh My Pi 与 Muse (53%)、ZCode 与 DeepSeek (47%)、Pi 与 GLM Flash (42%) 以及 Alma 与 Kimi-K3 (25%)。线束改变成本 该模型设定了成本的总体水平,因为模型的标价相差 20 倍或更多(图 9)。我们计算了 110 个单元的每个任务的平均成本
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱