Artificiality 的第一次考试：法学硕士参考的超级智能 C 测试

arXiv:2610.14005v1 发布类型：new 摘要：在人工智能发展步伐加快的情况下，任何用人类或现有人工智能系统来校准难度的基准都会变得循环，或者很快饱和。那么我们如何评估可能比当前机器和编写测试的人员能力更强的机器呢？该问题的一个答案取决于逆问题，即归纳推理问题，其难度取决于给定观察结果和先前知识的基础机制的复杂性。 Levin 的 Kt 是柯尔莫哥洛夫复杂度的可计算变体，它为该难度设置了理论上的上限，平衡了机制的最简单表示编码和运行该机制的时间步长的对数。以前从 Levin 的 Kt 派生的测试（例如原始的 C 测试）基于简约的通用图灵机 (UTM)，能够进行非常有限的表示，并且没有先验知识。推理大语言模型 (LLM) 是一种 UTM，它捕获人类文化概要作为知识，使用提示作为自然语言程序。本文提出了第一个基于 Levin's Kt 的测试，以 LLM 作为代表性机器。新的测试项目可以在很高的难度下产生，在任何人类或前沿模型能够解决它们之前，以比特测量的比率尺度进行估计。我们将措施形式化，设计轻量级生成和认证管道，探索参考机功率的影响以及考官和考生之间的差距。我们生产了第一批由 12 名法学硕士管理的认证项目。由此产生的智能体特征曲线随着难度下降，下降到未知的高难度区域，即我们可以证明的项目的超智能窗口，但超出了几代人的前沿智能。