当LLM法官同意时，我们应该相信他们吗？

对话式人工智能 当 LLM 法官同意时，我们应该相信他们吗？折扣具有高度相关性输出的法学硕士法官的意见可确保法官小组反映真正的观点多样性。 By Krishna Balasubramanian , Sasha Podkopaev August 26, 2026 5 min read Share Share Copy link Email X LinkedIn Facebook Line Reddit QZone Sina Weibo WeChat WhatsApp 分享到微信 x Key takeaways Introduces dependence-aware label aggregation using Ising models to account for correlated outputs among LLM judges, addressing the limitation that agreement counts appear stronger when judges share training lineage, prompts, or model families. Proposes treating judge panels as networks where pairwise dependencies are modeled alongside individual judge reliability, enabling distinction between independent evidence and shared mistakes in unsupervised settings without human reference labels. Demonstrates 9-14% accuracy improvements over weighted-majority-vote baselines across three tasks (relevance classification, toxicity detection, summarization assessment) with 10-judge panels. Provides practical guidance for LLM-as-a-judge pipelines: evaluate panel diversity statistically, inspect agreement clustering patterns, and report confidence adjusted for judge correlation rather than treating all votes equally.这个答案有帮助吗？想象一下评估一个检索增强生成系统。用户提出问题，系统检索文本段落，法学硕士法官决定其是否相关。为了减少噪音，您要求多个判断模型来评估同一篇文章。八个说“相关”；两个人说“不相关”。十分之八的人感觉很有说服力。但重要的问题不仅在于有多少法官同意，而且在于他们如何独立地达成这一协议。如果八位意见一致的法官确实是不同的证据来源，那么意见一致就是一个强烈的信号。但如果他们共享提示模板、训练谱系、模型系列或常见盲点，他们可能会重复同样的错误。计票结果让证据看起来比实际情况更有力。不同法官输出之间的相关性限制了多位法官小组的实用性。 Our paper “ Dependence-aware label aggregation for LLM-as-a-judge via Ising models ,” coauthored with Shiva Kasiviswanathan and presented at this year’s International Conference on Machine Learning ( ICML ), addresses this problem. We present a method for assessing the correlations between judges’ outputs and adjusting the aggregate score accordingly, to ensure a diversity of opinion. In tests on three different tasks, our method outperformed the best-performing baseline — a panel of judges weighted according to historical accuracy — by 9% to 14% on standard metrics.当一些法官的输出相互关联时，十张选票可能包含少于十个独立的证据。隐藏的假设 多数投票的吸引力在于它的简单性。每位评委投一票，得票多的答案获胜。加权多数投票是一种自然的改进：看起来更准确的法官会获得更大的影响力。这两种方法都是有用的基线。 But they are built around the same simplified view of the judge panel: judges that get the wrong answer are treated as though they make their errors independently.对于法学硕士作为法官的系统来说，这种假设往往过于乐观。两名法官可能会一起失败，因为他们对标题的解释相似。多个法官可能会被提示相同的例子，因此继承相同的评估偏差。一组相关模型可能对相同的措辞敏感。在这些情况下，大多数人所提供的信息可能比看上去的要少。评审团是一个网络 更好的聚合者会将评审团视为一个评审网络。每个法官仍然有自己的可靠性概况，但法官对也可以有关系。有些搭档的一致意见比他们各自的可靠性预测所预测的要多，包括共同的错误。其他配对提供了更多互补的观点。我们使用伊辛模型（Ising model）对这些关系进行建模，伊辛模型是一种可以表示二元变量之间成对依赖关系的统计模型。在法学硕士作为法官的背景下，聚合器学习法官技能和法官相似性。多数票计票；加权投票学习每个法官的可靠性；依赖性感知聚合还可以学习法官之间的关系。我们的方法是为无监督设置而设计的：它从判断输出中学习，而不使用人类参考标签进行训练。它将每个项目的真实标签视为潜在变量，与描述判断可靠性和依赖性的参数一起进行推断。依赖建模有两个有用的级别。首先，对于正面标签和负面标签，法官之间的关系模式被视为大致相同。最终的决定看起来仍然像加权投票，但权重根据相关性进行了调整。冗余协议可以打折，无需做出