基准饱和后评估模型能力

arXiv:2610.20667v1 公告类型：新 摘要：人工智能功能的快速进步正在导致基准测试饱和。一旦多个模型接近满分，基准测试就失去了区分它们的能力，也失去了为人工智能安全案例和前沿政策提供信息的效用。然而，基准项目产生的信息比我们通常从中提取的分数要多得多：每个模型如何解决任务的完整记录。我们研究即使在基准分数已经饱和之后，这些成绩单是否可以用于评估模型能力。我们使用历史基准和模型版本回顾性地模拟饱和度，并测试仅访问饱和基准中正确解决的记录的协议是否可以预测在保留的、不饱和的项目上测量的能力。我们评估了从模型转录本中提取信息的代表性当代方法：成对判断、单转录本绝对评分以及根据确定性转录本特征或嵌入进行预测。我们发现饱和的成绩单保留了超出基准准确性的能力信息。在我们评估的协议中，成对判断表现最好，与仅使用饱和基准分数的基线相比，预测误差减少了 5.3 倍。这种与能力相关的信息分布在各个转录部分中，但集中在特定的信息通道中，例如推理和工具调用。然而，协议的预测能力并不总是能在分布变化中泛化——例如，低估了 2025 年初引入的第一个推理模型的能力。因此，饱和基准测试在其任务记录中保留了能力预测信号，但延长现有基准测试的生命周期需要设计方法来稳健地提取这些信号。