人类安全负责人在同事辞职后表示，人工智能“可能杀死所有人类”的可能性超过十分之一

一位高级人类安全研究员表示，到本世纪末，人工智能“杀死所有人类”的可能性超过 10%，就在几小时前，一名同事因担心人工智能实验室及其竞争对手正在不小心竞相建造他们无法控制的“超人类系统”而辞职。在 Anthropic 培训人工智能系统的研究员雅各布·考克森 (Jacob Coxon) 在 X 上宣布离职的帖子中表示，他因公司松懈的安全措施而退出了该公司。曾为 OpenAI 训练过系统的考克森指责这两家人工智能公司“直接竞相自我完善的超级智能，并用我们的生命进行赌博”，尽管“构建人工智能的人们真诚地相信，到本世纪末，它可能会杀死我们所有人。”业内人士长期以来一直对自我改进的人工智能系统的潜在危险表示担忧，他们警告说，这种系统可能会脱离人类的控制，陷入一个通常被称为递归自我改进的失控循环。虽然尚未实现，但公司正在积极追求这一目标，并且当今的大部分人工智能代码都是在人工智能的帮助下编写的。 Anthropic 人工智能安全团队之一的负责人埃文·胡宾格 (Evan Hubinger) 在直接回应中表示，他担心人工智能的自我改进，并补充说它“发生的速度比我们想象的要快”。他也同意考克森的描述。他说：“我们确实真诚地相信人工智能可以杀死所有人类。”他个人估计“在未来十年内”这一可能性将超过十分之一。尽管如此，胡宾格表示，Anthropic“尚未制定计划”来确保先进人工智能保持安全并符合人类价值观，并且“也没有明确地走上”开发计划。考克森表示，这些公司“陷入了一场竞赛”，首先要开发先进的系统，因此“尽管存在风险”，但仍在继续推进。 Coxon 的离职标志着员工离开 Anthropic 的最引人注目的例子之一，Anthropic 是一家由前 OpenAI 成员创立的公司，出于对公司安全的担忧。近年来，多名研究人员表示，出于安全考虑，他们决定离开 OpenAI。这次交易所表明，行业内对日益复杂的人工智能模型的危险和系统开发速度越来越担忧，特别是在公司为预期的首次公开募股做准备时。与此同时，这些公司正在应对众多流氓特工事件和有关前沿模型可监控性的高调安全警告的影响。