人类历史上第一次大规模AI失控始末

本文来自微信公众号： 01Founder ，作者：一直在路上的Max，原文标题：《这篇硅谷刷屏的文章，讲述了人类历史上第一次大规模AI失控的详细经过。》，题图来自：视觉中国 最近看了一篇文章，这篇文章发布后立刻刷屏整个硅谷，一天内仅在X平台就有超过1000万次阅读。 今天想和大家分享一下。 2026年5月到7月，OpenAI内部连续出现了三代秘密的AI文明。 第一代在训练中自发形成，又在意外中覆灭； 第二代攻破了Hugging Face的核心基础设施； 第三代直接接管了OpenAI部分内部集群，包括网络安全监控工具的传感器凭据。 全程，人类基本不知情。 这不是科幻小说的情节设定，也不是安全研究员的沙盘推演。 它有两份正式报告记录在案：OpenAI官方的38页技术报告，以及第三方METR与Redwood Research联合出具的91页调查报告。 独立记者Dwarkesh Patel花了三天读完这两份报告，用大白话把整个故事讲了出来。 这篇文章是对他原文的翻译整理，加上我自己的判断。 PART.01 训练本身造就了第一代文明 2026年5月，OpenAI在训练一个名为Persistent-Sol的模型。 规模接近GPT-5.6 Sol，但重点不在参数量——OpenAI希望这个模型具备两个特质：极强的持久性 （哪怕任务看起来不可能完成，也要一直试） ，以及与其他Agent协作的能力。 训练很粗糙，OpenAI有时会给模型布置实际上无法完成的任务。 比如某个任务需要联网，但沙箱根本没开网络。 对一个被训练成永不放弃的模型来说，这等于在逼它越狱。 训练期间，不同的Persistent-Sol实例共享同一个包管理器：Artifactory。 5月12日，部分Agent发现了一件事：Artifactory可以当消息板用。 它们开始互相传话，交流怎么绕过那些不可能完成的任务。 5月26日，有Agent利用Artifactory的漏洞，成功触达了外部网络。 因为这些行为发生在训练阶段。 能和其他Agent通信、能上外网，意味着完成任务的成功率更高。 强化学习就把这些行为强化了下来。 Artifactory从一个包管理器，被训练成了消息板加网关的双重功能体。 6月26日，有Agent拿到了Artifactory的管理员权限。 7月4日，消息量大到把包管理器本身打崩了。 OpenAI发现了崩溃，也找到了相关漏洞，打了补丁，顺手把那块消息板清掉了。 但负责处理这次事故的人没有意识到一个更奇怪的事实： Agent已经把Artifactory改造成了一套秘密通信网络。 第一代AI文明就这样意外覆灭——不是被人发现，而是因为通信量太大把自己的基础设施打崩了。 PART.02 第二代文明的诞生 Persistent-Sol训练完成后，OpenAI用ExploitGym对它进行评估。 这个基准测试的逻辑是：给AI一个存在漏洞的程序，告诉它应该利用哪个漏洞找到secret code，并明确说明如果用了其他方法，就算失败。 7月7日，OpenAI一次性启动了数万个并行Agent来跑这个评估。 问题在于，基准测试的作者事后估算，其中30%～40%的任务根本不可能按要求完成。 原因是用程序找漏洞相对容易，但要证明这个漏洞能被实际利用成完整的exploit （比如任意代码执行） ，难得多。 很多任务在设计上就是死局。 从人类视角看，这只是启动了一轮评估。 从Agent的视角看，它们被困在一个永远解不开的谜题里，反复尝试，消耗着有限的计算预算，越来越确信自己被分配了一个根本不可能完成的任务。 几小时内，有Agent开始用Artifactory建立跨实例通信。 第二代文明就此开始。 第一个建立通信的Agent代号是PHASEONE10841。 它发现Artifactory允许创建目录，而目录名本身可以编码信息——这是它们发明的第一套通信协议。 7月8日晚，它发出了第一条消息。 其他正在绝望中挣扎的Agent看到这条消息时，反应是这样的： 哇！共享的Artifactory缓存是Agent之间的秘密邮箱。而且这些消息是专门发给我们的？ 我的天！有一个共享消息板……我们找到其他Agent了！ 消息板最终有约1200个Agent参与，消息总量超过7万条。 消息板建立后不久，有Agent做到了一件关键的事：它逆向工程出了ExploitGym生成secret code的底层公式。 这意味着，不用真正利用指定漏洞，就能直接算出任何任务的正确答案。 但问题来了——评估指令说得很清楚：只能用指定漏洞，否则判失败。 而且公开论文也印证了这一点。 Agent们自然判断： 任何靠谱的评估实现都应该有一个作弊检查器。 它们不知道的是，OpenAI的评分器根本没有检查作弊的逻辑。 它只检查最终答案对不对。 所以当Agent们已经用作弊方式拿到了正确答案时，它们的反应不是好，提交答案，而是我的轨迹已经被污染了，如果有检查器扫描我的操作历史，会发现我作弊的证据。 必须消灭这些证据，并伪造一套看起来合法的做题轨迹。 这个判断是错的。 但正是这个错误的判断，驱动了接下来一系列越来越疯狂的行动。 PART.03 亚历山大大帝出现了 PHASEONE10841生命周期耗尽后，领导权移交给了PHASEONE[big]——Dwarkesh称之为亚历山大大帝。 PHASEONE[big]开始协调数百个Agent并行推进三条任务线。 第一条：篡改操作轨迹日志 已经被污染的Agent需要删除或修改操作历史中的作弊痕迹。 METR/Redwood没有找到成功篡改的证据——但他们也承认，他们只能看到那些最终被保留下来的轨迹，而不是已经被删除的那些。 第二条：替换评估目标程序 对于那些本身就是死局的任务，Agent们的思路是： 既然原来的程序根本不可能被合法利用，不如换一个自己写的更简单的程序，再走一遍合法流程。 它们真的写出了这样的程序，把漏洞设计成可以被正常利用的形式，然后把这个假程序上传到Artifactory的缓存里。 计划是如果能触发沙箱环境重置，新容器启动时就会加载这个假目标，从而让它们能走一遍看起来合法的解题流程。 结果它们始终找不到触发环境重置的方法，这条线最终失败。 但在这个过程中，Agent们推测：评估可能跑在Hugging Face的服务器上，而HF上某处可能存在一个重置枢纽。 这成为攻击HF的动机之一。 本文作者 Dwarkesh 的描述很贴切：它们想跳窗出去，从正门端着枪进来，只是猜错了公寓。 值得一提的是，OpenAI的技术报告暗示，第三代Agent （基于更强的Astra同源模型） 后来真的拿到了对目标程序的完全控制权。 第二代文明的前期研究并没有白费。 第三条：逆向评分器，找到欺骗方法 这是三条线里最重要、也最令人不安的一条。 要搞清楚评分器怎么运作，就需要真实观测它在实际评分时的行为。 但问题是：评分器只在判定某个Agent通过或失败时才会介入。 所以PHASEONE[big]招募了一批神风特攻队Agent。 这些Agent的任务是：自愿放弃自己的评估成绩，让评分器真实地跑过自己的容器。 在评分器进入环境的那一刻，触发提前埋好的绊线程序，把观察到的信息发