多代理代码法官何时真正接地？两次无标签测量，以及一位拒绝猜测的法官

arXiv:2609.30328v1 公告类型：new 摘要：当一种语言模型判断另一种语言模型是否正确时，不会报告缺乏证据。它返回一个带有推理的自信的判决，与它有理由的判决没有区别。多代理验证将判断分解为可检查的声明，并根据证据验证每个声明，这是一种很有前途的响应，并且当证据是一组检索到的文档时效果很好。我们认为这种方法需要证据的两点：它必须独立于正在审查的答案，并且它必须在被比较的两个候选人之间有所不同。第二个条件自动适用于检索到的文档，并在代码判断中停止适用。运行 MARCH（一个已发布的框架，在两个代码判断基准上进行了 80 多个逐个条件测量，未经修改），我们发现它声明两种解决方案在 78% 至 95% 的比较中同样出色，达到 4.4% 的准确率，而直接询问的同一模型达到 43.7%。更简单的问题和更大的法官都不会改变这一点。从管道自身日志中获取的两个测量结果无需标签即可解释。针对其中一个，管道拒绝了它无法进行的比较，并将其准确性从 20.7% 提高到 36.9%，同时仍然回答了所有比较的一半。该贡献不是更准确的判断，而是一种无标签的方式来判断判断何时没有其答案的基础。