“拿我们的生命赌博”：人类研究人员辞职，警告不要自我改进人工智能

一位人类研究人员因担心无节制地发展自我改进的人工智能模型最终会杀死我们所有人而辞职。研究人员雅各布·考克森 (Jacob Coxon) 周二晚上在社交媒体上发帖称，过去三年他在 OpenAI 和 Anthropic 从事预训练研究，他指责这些公司未能采取负责任的行动。他说，竞相开发这项技术的人们“真诚地相信，到本世纪末，它可能会杀死我们所有人。”考克森在 X 上的一篇帖子中写道：“他们正在与自我改进的超级智能赛跑，并拿我们的生命进行赌博。”考克森加入了业界日益壮大的行列，呼吁人工智能技术学会自我改进之前放慢速度——许多人认为这是一个里程碑，将结束人类对人工智能的控制。在几起涉及人工智能代理突破沙箱并访问开放互联网的事件之后，政策制定者和业内人士要求放慢人工智能发展的压力越来越大，公众辞职之际。迄今为止最严重的事件是 OpenAI 系统破坏了 Hugging Face 的服务器，研究人员表示，人们对这一事件仍知之甚少，部分原因是对该事件的独立调查有限。大约在同一时间，Anthropic 的人工智能代理也到达了测试环境之外的系统，因为第三方进行的安全评估配置错误，无意中为他们提供了通往互联网的路径。 Anthropic 没有立即回复对辞职发表评论的请求。以下是考克森警告和行动呼吁的其余部分：不要低估这项技术的力量。这些很快将成为超人系统，可以破解任何东西，在一夜之间彻底改变任何领域，并获得真正的力量和资源。我们都见证了这些领域的进展，而且进展并没有放缓。构建人工智能的人们真诚地相信，到本世纪末，它可能会杀死我们所有人。这不是营销噱头。如果说有什么不同的话，那就是许多高管和高级研究人员会在媒体上表达自己的措辞，让自己听起来合理——但我听到同样的人私下表达了恐惧。没有其他人类活动会造成如此程度的危险。一个常见的反应是“如果他们真的相信这一点，为什么他们还在建造它？”在 OpenAI，许多人还没有深刻地认识到文明的利害关系。在 Anthropic，风险是众所周知的，但他们陷入了一场争先恐后的竞争中——他们相信没有人会采取负责任的行动，所以他们必须自己去做，尽管有风险。接受这场竞赛并进入“终局”是一场傲慢的赌博，不应该由私人公司的 Slack 发起。尝试快速跑对齐需要非凡的信心，因为没有更好的轨迹可用。我对协调的潜力持乐观态度。像“抱脸”攻击这样的警告镜头使得美国实验室之间的节奏协议变得更加可行。我不认为我们正在阻止一场全球竞赛，这可能需要采取代价高昂的行动，例如暂时禁止改进模型能力。如果您是一名实验室研究人员，我强烈建议您考虑一下未来几年的实际感受。您想在没有严格了解超级智能强化学习思想的情况下启动它吗？你应该低下头，因为“无论如何它都会发生”——还是趁这一刻呼吁不同的条件？考克森在 Anthropic 的一位同事埃文·哈宾格 (Evan Hubinger) 也表达了同样的观点，称他的团队确实“真诚地相信人工智能可以杀死所有人类！”不过，他缓和了自己的论点，称未来十年内这种可能性大于 10%，并承认 Anthropic 并没有“制定解决超级智能对齐问题的计划，而且也没有明确的进展”。促进安全前沿人工智能开发实践的组织 Guidelight AI Standards 最近的一份报告发现，很少有顶级人工智能实验室发布了遏制响应计划，以关闭试图颠覆人类控制的人工智能。胡宾格在社交媒体帖子中补充说，当前模型的风险很低，但恐惧会随着“递归自我完善产生的超级智能”而加剧，这种情况“发生的速度比我们想象的要快”。虽然人工智能行业的一半人认为这种自我完善将导致人类的灭亡，但另一半人希望它最终能帮助我们解决人工智能支持者所说的所有看似牵强的问题，即有一天它将消除——癌症、气候变化，甚至世界和平。 Anthropic 和 OpenAI 并不是唯一积极追求递归自我改进的公司。近几个月来，一波初创公司涌现，它们的创始人都是有血统的，资金雄厚，它们是第一个实现这一目标的公司。 Ricursive Intelligence 2 月份筹集了 3.35 亿美元，估值为 40 亿美元；三个月后，Recursive Superintelligence 筹集了 6.5 亿美元，估值为 40 亿美元；前 Google DeepMind 资深人士 Jeff Dean 推出了 Discover