精确但脱钩：审稿人的精确度并不能保证多智能体数学推理中的批评被采纳

arXiv:2607.15388v1 公告类型：新 摘要：许多面向数学和科学的代理系统使用具有专门审阅者角色的分层设计，假设专门的审阅阶段应有助于将错误的候选者转变为正确的候选者。我们使用匹配的 gpt-oss-120b actor 在 4,181 个基于验证者的 Omni-MATH 问题上测试了这个假设。在最简单的级别上，协作几乎没有增加什么，但从第 4 级开始，收益急剧增加；在这种更困难的制度中，广播式同行讨论比计划者-执行者-审阅者管道（PER）达到更高的最终准确性。我们询问这种差距是否可以通过审稿人的质量来解释，或者批评是否会改变协议提出的下一个答案。这不能仅用审稿人的精确度来解释：PER 的审稿人比广播的审稿人更精确（0.861 比 0.644），但经过评估人验证的有用批评不太可能改变下一个候选者，并且产生较低的审稿人引导修复。这些结果表明，审稿人的检测质量和批评的接受程度在经验上是可分离的。在匹配的 PER 干预中，强制明确确认会降低最终准确性，而将审阅者指导直接嵌入到求解器的工作环境中会部分改善后续操作，但不会缩小差距。总体而言，以审稿人为中心的评估可能会夸大系统质量：如果协议不对这些批评采取行动，它可能会很好地发现错误，但仍然无法解决更多问题。