排行榜黑客：基于偏好的模型评估容易被操纵

arXiv:2611.14769v1 发布类型：新 摘要：Arena 式的语言模型排名是在线排行榜、研究论文和生产中的模型评估中广泛使用的评估框架。这些排名旨在通过根据用户提示对匿名模型进行成对比较来实际评估模型性能，并通过 Bradley-Terry 模型聚合投票以产生最终排名。然而，我们发现这些排行榜很容易受到不法提供商用来提高模型排名的几种操纵策略的影响：战略投票（提高模型排名的个人投票，包括对不相关模型的投票）、战略提示（选择有利于模型的提示）和战略提名（通过插入不相关模型来提高模型的排名）。我们展示了这些对公共排行榜数据的影响，分析了导致这些漏洞的情况，并描述了防范每种攻击的方法。值得注意的是，这些问题适用于使用允许公开提示、投票或模型提交的 Bradley-Terry 模型的任何基于偏好的评估。这些操作提高了几乎所有测试模型的排名；每次攻击可以将模型的排名提升最多 15-20 位，合计起来最多可以将模型提升 45 位。