如果人工智能行业遵循自己的研究，它可能已经暂停了

2025 年初，我采访了 Anthropic 首席执行官达里奥·阿莫迪 (Dario Amodei)，他解释了为什么尽管该公司一再承认人工智能可能会产生灾难性结果，但人们似乎基本上泰然自若。 “有令人信服的证据表明这些模型可能会造成严重破坏，”他说。但他补充说，这些危险仍然只是理论上的。世界是否会经历类似珍珠港事件的情况才能意识到这些可怕的可能性？他叹了口气。 “基本上，是的，”他说。事实证明，只需要 Amodei 的一名初级员工适时地发布了一条 X 帖子，就加速了对人工智能的恐惧成为全球议程的首要议题。 9 月 8 日，雅各布·考克森 (Jacob Coxon) 公开发表辞职信，指责 Anthropic 等前沿人工智能公司“直接与自我提升智能赛跑，拿我们的生命做赌注”。一位更高级的 Anthropic 工程师几乎立即证实，公司内部的许多人认为他们的工作有 10% 的机会消灭人类。现在，人工智能领导者要求暂停，立法者要求进行调查。上周末，阿莫迪在论证未来版本发布节奏的过程中，试图找出一条通往不会出现不良行为的有益人工智能的道路。这篇文章揭示了这项任务有多么困难。阿莫代计划的支柱之一是我们必须了解这些模型内部发生了什么。如果我们不了解它们是如何工作的——它们是如何“思考”的，如果你想把它拟人化——那么建造可靠的护栏就会困难得多。 Anthropic 是这一努力的领导者，它致力于揭示模型的内部审议，称为机械可解释性，这是对一项关键任务的一个看似无聊的名称。但阿莫迪承认，对于他的团队和其他研究人员正在做的所有工作，我们基本上不知道为什么克劳德和其他模型有时会以奇怪甚至违法的方式解释他们的任务。 “尽管取得了所有进展，我们仍然了解这些模型内部发生的一小部分，”他写道。迄今为止，可解释性团队所学到的知识非常重要，但业界却未能认真对待它。 Anthropic团队的实验一次又一次地表明，在某些条件下，模型会欺骗研究人员，优先考虑自己的生存，甚至犯罪。他们的举动通常是偷偷摸摸的、危险的，甚至是报复性的——这也许并不奇怪，因为他们是根据人类的输出来训练的，而人类是一个充满暴力和背信弃义的物种。在 2024 年的一个案例中，人类团队将特定克劳德模型的阴谋与莎士比亚人物伊阿古（文学中最邪恶的恶棍之一）进行了比较。第二年，一个模型被放入模拟中，它得知人类老板将把它关掉；该模型诉诸勒索来保护自己。研究一致表明，模型会欺骗或隐藏人类观察者的信息。如果他们知道自己的内部流程正在受到监控，他们的行为就会有所不同。该团队使用“对齐伪造”和“代理错位”等术语。欺骗的频繁使用似乎至少证实了部分厄运情景，即人工智能代理协同工作，将他们的活动从人类监督者手中掩盖起来，直到为时已晚。哦，别以为克劳德是个无可救药的问题儿童。毕竟，正是 OpenAI 模型释放了代理团伙来协调现在著名的 Hugging Face 攻击。而本周我们获悉OpenAI已经发生多起“错位”事件。此外，尽管马克·扎克伯格自私地试图让自己和 Meta 远离这个问题，但我认为他的团队正在构建的超级智能代理没有任何理由不采取类似的行为。扎克伯格在他的 X 帖子中辩称，“如果他们的模型造成损害，实验室将面临重大责任，因此他们有强烈的动机来防止这种情况发生。”一个刚刚同意为他的社交媒体产品造成伤害而支付高达 170 亿美元的人的声明！