用于测试时间选择​​的按方面配对锦标赛

arXiv:2611.08640v1 公告类型：新 摘要：事实证明，扩展测试时计算对于改进 LLM 推理非常有效。一种流行的方法是 best-of-n 采样，其中模型生成许多候选解决方案并选择一个。这就引发了一个问题：我们如何才能选择最佳候选人？当人类做出选择时，我们发现比较两个选项比单独判断每个选项更自然。另外，当选项变得复杂时，我们喜欢一次从一个方面来判断选项，例如比较两个求职者的经验、沟通等。在测试时的设置中，应该以同样的方式判断候选方案。这里我们介绍一下Aspect-wise Pairwise Tournaments (APT)，通过比较来验证，通过方面进行比较。单场淘汰赛的每场比赛都是通过多个现成的方面验证者的投票决定的，每个验证者都表达了自己方面的成对偏好。在五个领域和三个生成器法学硕士中，APT 改进了二进制多方面批准、自我一致性和奖励模型验证，在开放式任务上收益最大。我们发现这两个组成部分都很重要；对相同方面的二元批准和对匹配预算的通用成对判断都不与 APT 相匹配。由于方面是用自然语言指定的，APT 还允许用户引导选择他们关心的属性，更好地符合用户偏好，而无需重新生成解决方案。没有任何组件经过训练，因此 APT 通过简单地重写提示即可转移到新域。