Pdb 与否：比较调试接口与 Pass$_{X}$@$k$

arXiv:2611.08666v1 公告类型：新 摘要：交互式调试器对于人类软件开发来说是不可或缺的，但编码代理绝大多数依赖于编辑-执行-观察循环，使用常见的 bash 工具、测试脚本和打印语句通过重复的 shell 命令进行调试。单步执行调试器提供了对运行时状态的实时访问，这可以实现不同的问题解决功能。然而，先前的工作通常将调试器作为附加工具或通过新的子代理引入，使得其单独的贡献难以与相关的脚手架更改隔离。为了解决这个问题，我们在所有 500 个 SWE-bench Verified 实例上将仅调试器代理与仅 bash 代理进行比较，并固定支架的其余部分。我们在 GPT-OSS-120B 和 Nemotron-3-Ultra-550B 两个模型上评估这两种架构，每个架构 $\times$ 模型配置进行 3 次独立运行。至关重要的是，为了区分接口专业化和重复采样下的扩展覆盖范围，我们引入了 pass$_X$@$k$，这是一种跨代理 pass@$k$，它提供了至少一个 $k$ 代理成功的概率的无偏估计。尽管 bash 和调试器代理在任何一对运行中都解决了部分不相交的基准子集，但我们的 pass$_X$@$2$ 估计器表明，这主要是由于运行之间的差异而不是工具互补性。在这两种模型中，我们发现两种 bash 部署优于一种 bash 和一种调试器部署的组合。我们的研究结果强调了在评估代理和工具多样性时考虑随机方差的重要性，我们希望 pass$_X$@$k$ 能够成为社区的有用框架。