首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 汽车 游戏 社会热点 开源推荐 医疗健康 归档 标签 关于
智能AI morning

单独聪明,共同盲目:为什么准确性无法证明多智能体团队中的心理理论

摘要

arXiv:2610.19051v1 Announce Type: new Abstract: Coordinators that act on what they infer about teammates are usually certified by the accuracy of those inferences. We argue that accuracy is the wrong ...

the and accuracy module errors that what for where from
2026-10-16 1 阅读 约2分钟阅读 Will Beaumaster, Paul Schrater
分享:
字号:
arXiv:2610.19051v1 Announce Type: new Abstract: Coordinators that act on what they infer about teammates are usually certified by the accuracy of those inferences.我们认为准确性是错误的证明,原因有两个。首先,操作所需的准确性取决于错误操作的成本,因此该栏属于部署,而不是模块。其次,模块的错误很少是独立的,并且依赖性有一个标志:正相关的错误在其损害重叠的地方有所帮助,在其复合的地方造成损害,因此准确性阈值在可预测的方向上失败,并且一旦错误的信念相互作用并可能造成损害,则基于准确性的规则并不适合每个模块。我们在任务分配、基于级别的觅食和花火、注入错误、经过训练的贝叶斯模块和五种语言模型以及人类判断中测试这些预测。准确性在两个方向上都失败了,在 Hanabi 中批准有害的语言模型部署,其中共享错误会复合,而在任务分配中拒绝有益的语言模型,而代价高昂的错误很少见。在我们的任务中,它所带来的冗余也比独立预测的要少得多:从 GPT-5.4-mini 到 Claude Opus 5.5,模型有证据表明队友的错误率从 32% 下降到 11%,但所有三个观察者误读其中一个的几率仅从 16% 下降到 9%(独立性:3.4% 到 0.15%)。我们建议使用盲点门来验证部署,该盲点门可以在不部署模块的情况下对错误成本、成对交互和测量依赖性进行定价。根据其开发所在单元的保留数据,它在 20 个分割中没有做出重大错误批准(准确度:每个分割 3.2),并且在对未开发的模块进行的预注册测试中,它恢复了准确性拒绝的内容(七个分类器:后悔 0.004 对 0.479)并捕获准确性批准的内容(贝叶斯模块:在 20 个分割中的 17 个中为准确性而进行的重大错误批准,1 个为门)。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱