SWE Atlas 上的 Big Pickle – 代码库 QnA

SWE Atlas 上的 Big Pickle — 代码库 QnA 任务解决率：50.8% (63/124) — big-pickle 是 OpenCode Zen 上的免费隐形模型，使用 mini-swe-agent 支架在 Scale AI 的 SWE Atlas Codebase QnA 基准测试上进行评估。于2026年8月11日使用官方开源的harness、任务数据和判断模型运行。上下文结果对照官方 SWE Atlas QnA 排行榜（更新于 2026 年 7 月 28 日）： 模型（脚手架）任务解决率 Opus 5（Claude Code，xHigh）63.17 Opus 4.8（Claude Code，xHigh）57.26 big-pickle（Mini-SWE-Agent）—本次运行 50.81 GLM 5.2 (Mini-SWE-Agent) 48.12 GPT-5.6-Sol (Codex, xHigh) 46.00 GPT 5.5 (Codex, xHigh) 45.43 在 Mini-SWE-Agent 脚手架类别中（同类比较），这次运行的得分超过了官方排行榜上的所有条目，并且也位居 Codex 脚手架 GPT 条目的首位。只有在其原生 Claude 代码支架上运行的两个 Claude 模型得分更高。在将其视为排行榜等效数字之前，请注意以下注意事项。按语言 语言 解决率 TypeScript 18/31 58.1% Python 16/29 55.2% Go 19/38 50.0% C 10/26 38.5% 按类别 类别 解决率 代码入门 17/28 60.7% 架构和系统设计 23/44 52.3% 根本原因分析 17/37 45.9%安全性 5/11 45.5% API 和库使用/集成 1/4 25.0% 方法 一切都在预算允许的范围内严格遵循 Scale 发布的协议： 任务：来自scaleapi/SWE-Atlas (Apache-2.0) 的所有 124 个代码库 QnA 任务，未修改 — 包括 Scale 附带的 mswea_qa_config.yaml 代理配置（系统/实例模板，step_limit: 250 ）。工具：根据 SWE-Atlas 自述文件，带有 Modal 沙箱的 Harbor v0.18.0。支架：固定到 2.4.6 的 mini-swe-agent — 与 Scale 用于排行榜上非第一方模型的最小仅 bash 支架相同。模型：big-pickle 通过 OpenCode Zen 的 OpenAI 兼容端点 (https://opencode.ai/zen/v1)，litellm 路由 openai/big-pickle 。总消耗：6.74 亿个输入/430 万个输出代币，价格为 0 美元（该模型在隐身期间免费）。 Judge：claude-opus-4-5-20251101 — Scale 指定的确切判断模型 — 通过 Anthropic 的 OpenAI 兼容端点 ( https://api.anthropic.com/v1 ) 访问，并将 EVAL_MODEL 覆盖为裸 Anthropic 模型 ID。评分：基准测试自己的基于评分标准的验证器，未经修改。仅当每个得分的必备标题都通过时，任务才能解决。注意事项 在引用数字之前请阅读以下内容：每个任务单次试验 (-k 1)。官方方案进行了 3 次试验并报告平均值。当 n=124 时，单次试验标准误差约为 ±4.5 分 — 与排行榜自己报告的误差线 (±5) 相当。减少沙箱资源。任务声明 16 CPU / 16 GB；本次运行使用 4 CPU / 8 GB 以满足个人预算。较慢的命令执行只会降低代理的分数（通过命令超时或 OOM 杀死），而不会增加它。根据经验，它似乎在这里没有效果：对所有 124 个代理轨迹的扫描发现零命令超时和零 exit-137 杀戮 - 没有命令达到 900 秒上限或内存限制。自我报告。 Scale 未运行或验证此评估。此存储库中完整的每个任务验证程序日志允许独立审核，并且可以从此处的配置以及公共 SWE-Atlas 存储库重现运行。型号身份未知。 big-pickle 未经官方证实；泄露的提供者错误和 API 响应签名表明它目前由 DeepSeek 基础设施提供服务。底层模型可能会发生变化，恕不另行通知，因此此结果是 2026 年 8 月 11 日别名背后的内容的快照。数据暴露。 OpenCode 指出，在空闲期间进行 big-pickle 提示可用于改进模型。基准测试的任务内容（已经公开，由 Scale 进行金丝雀标记）必须发送到该端点。两项已解决的任务没有评分标准。在任务-...ba9ad（11 个评分标准中的 5 个）和任务-...baa1d（1 个评分标准）上，法官通过所有 8 次重试返回了无法解析的输出；基准测试的验证器通过设计将未评分的评分标准排除在通过计算之外。相反，将未评分视为失败会给出 61/124 = 49.2% 的严格下限 — 仍然高于所有 Mini-SWE-Agent 排行榜条目。包含所有验证程序日志，因此您可以应用任一约定。复制 git clone https://github.com/scaleapi/SWE-Atlas && cd SWE-Atlas git clone --branch v0.18.0 --depth 1 https://github.com/laude-institute/harbor.git uv tool install ./harbor --with modal && uv tool install modal && modal setup # 从这个仓库：复制 run_config/qa, run_config/tw, run_config/rf into # SWE-Atlas/run_config/ （保留子目录 - 脚本相对于其自己的位置解析 # .env 和 Scale 的 mswea_*_config.yaml）， # 将 preflight.sh 和 .env.example 复制到 SWE-Atlas 根目录中， # 从 .env.example 创建 .env，然后： ./preflight.sh bash run_config/qa/big-pickle_smoke.sh # 3 任务烟雾测试第一个 bash run_config/qa/big-pickle_miniswe.sh # 完整的 124 个任务运行配置已处理的来之不易的问题：不要传递 --a