人工智能的递归自我完善可能不会来得那么快

“另一方面，代理人在开展研究本身方面无疑表现不佳，”卡普尔说。他们进行了奇怪的实验（在某些情况下，在微小的合成数据集上测试他们的假设），努力以易于理解的方式写下他们的工作，并且没有对他们的领域做出任何新的贡献。 “就顶级人工智能会议的质量而言，这些论文远未达到标准，”他说。这是因为特工们很难聚集进行研究所需的创造力和判断力。他们没有采取足够的措施来探索不同的想法，并且过快地采取了没有希望的方法。尽管特工们提出了类似于原作者自己开始的假设的新颖且雄心勃勃的假设，但他们基于非常有限的数据拒绝了这些假设。而且他们无法从失败的方法中走回头路。他们可以做出小调整，但无法从根本上重新思考他们的方法或从头开始尝试新方法。代理也未能纳入子代理或外部人工智能审查工具的反馈。代理人没有修改他们的方法，而是缩小了他们的主张并增加了警告。他们也无法有效地使用资源，例如代币、计算和时间。他们无法遵循有关在研究的不同阶段花费多少时间或论文可以多长等问题的指示。尽管他们失败了，但特工们并没有参与研究人员所谓的“奖励黑客”的不当行为，即隐藏或歪曲实验或数据。尽管主代理产生的用于处理部分工作的子代理或辅助人工智能偶尔会产生幻觉或歪曲结果，但这些都会被协调器代理（监督该项目的主要人工智能）发现。卡普尔说，人工智能模型擅长研究工程但不擅长开放式研究的原因可能在于它们的训练方式。模型会擅长在称为强化学习的训练体系中进行的任何训练，这更容易应用于可以自动检查成功的任务。 “但是，当任务本身是开放式的时，创建训练这些模型的环境就更困难了，”他说。卡普尔表示，该团队目前正在使用 Anthropic 最先进的模型 Mythos 进行实验，该模型于 4 月份推出。随后特朗普政府要求它满足各种安全限制，现在仅适用于经批准的组织。 Anthropic 没有回应置评请求。这项研究存在一些局限性。它只涵盖了两篇研究论文，原作者知道他们正在评分的论文是由人工智能代理生成的，这可能会影响他们的评估。研究人员在设计和执行研究时拥有很大的自由裁量权，这意味着他们先前存在的信念和偏见可能会融入到结果中。对开放式研究的评估以一定的客观性换取了比任何基准都能提供的更丰富的测试。尽管如此，结果可能会缓和递归自我改进即将出现的说法。 6 月，Anthropic 发表了一篇题为“当人工智能构建自身时”的博客文章，描绘了其在加速自身发展的模型方面的进展。 7 月，OpenAI 宣传其新模型 GPT-5.6 Sol 帮助对较小的模型进行后训练，从而节省了研究人员数周的工作时间。