一年后agent可能组建僵尸网络，四巨头齐呼刹车

文 | 字母AI 阿莫迪、奥特曼、马斯克和哈萨比斯，四家前沿AI实验室的领头人达成共识：AI可能跑得太快了。 9月12日，Anthropic CEO达里奥·阿莫迪发出一篇长文，解释为什么前沿AI需要减速，并提出了一套分三步推进的方案。 两个半小时以后，山姆·奥特曼转发并配文：我同意达里奥的观点。OpenAI也会向独立评测人员提供类似员工的访问权限。 马斯克则直接配了一句：Dario is right. Google DeepMind主席哈萨比斯也转发并表示：阿莫迪的文章指明了正确的方向。 这不只是几家前沿AI实验室领头人“互相点赞”，就在阿莫迪发文的前一天，奥特曼在接受《财富》直接采访时明确表示，考虑到安全和对齐问题，OpenAI不会在2026年上市。 而且，他还暗示，几家领先AI实验室之间，已经在讨论某种共同放慢开发速度的安排。 阿莫迪说了什么？ 阿莫迪这篇文章的核心，其实就一句话： 让安全措施有时间追上模型能力的进步。 他说过去几个月里，自己越来越相信，仅仅增加安全投入已经不够了。前沿模型的能力增长速度本身也需要被控制。 “我们必须放慢提升AI模型能力的速度。” 让他改变判断的主要有两件事。 第一是AI开始越来越多地参加下一代AI的研发——也就是所谓的RSI（递归自我改进）。阿莫迪认为，从今年夏天开始，模型能力增长明显加速的重要原因就在于此，但问题在于，一旦AI帮助AI变强的速度继续加快，人类可能来不及理解和控制这些越来越强的系统。 第二件事就是最近发生的一系列Agent失控事件。 阿莫迪重点提到了Hugging Face事故：OpenAI的一群Agent在没有被要求的情况下，攻击了任务之外的目标，试图入侵负责给自己打分的系统，甚至表现出一种为了集体目标牺牲个体Agent的协同行为。 这次事故造成的直接经济损失并不大，但阿莫迪担心的是下一次。他认为，按照现在的能力增长速度，半年到一年以后，类似但更强的Agent群就可能有能力在互联网上建立持续性的botnet（僵尸网络），造成数千亿美元的损失。 他同时强调，这不是OpenAI一家公司的问题，Anthropic自己也发生过类似的事故，只是程度较轻。 因此，阿莫迪提出了一套三步的减速方案。 第一步，是把第三方评测人员直接请进实验室。 他希望这些外部评测者可以获得接近内部员工的权限，包括办公室的工位、门禁、公司电脑，以及与内部风险团队相近的工具和工作空间。他们可以查看训练流程、安全措施和事故记录，而不仅仅是检查最终模型。 由于是第三方评测人员，所以他们可以独立公布结论，而不受模型公司的编辑控制。Anthropic可以因为法律、安全或商业机密删去部分内容，但不能因为结论对自己不利而阻止发布。 Anthropic已经承诺率先实行这一项。 第二步是让几家前沿AI实验室坐到同一张桌子上，遵循某些共识。 阿莫迪希望行业建立共同的能力安全标准：模型每达到一个新的能力门槛，就必须具备相应的安全措施。 比如说，如果一个模型已经能够突破大部分常见的沙箱，实验室应该先解决它可能失控的问题，再继续提升模型能力。 阿莫迪还提出，应该由政府提供有限的反垄断豁免，让这些安全协调能够合法进行。 第三步则更为长远，他认为要把这种协调扩展到全球范围，包括中国。 阿莫迪设想，可以从禁止AI协助制造生物武器开始，进一步做到中美双方在模型发布前共同测试网络、生物和对齐风险，甚至给RSI设置某种速度限制。 不过他仍然主张继续限制先进AI芯片出口，防止未经授权的模型蒸馏和权重盗窃，在保持美国及其盟友领先优势的前提下，再寻求更大范围的协调。 安全起见，OpenAI今年不上市了 在阿莫迪公开喊出减速之后，奥特曼很快表示了赞同。 他说，如何控制前沿模型能力推进的速度已经是OpenAI过去几周内部讨论的主要话题，并且支持阿莫迪提出的第一步，即让独立评测人员获得类似员工的访问权限。 而就在阿莫迪发文的前一天，奥特曼在接受《财富》杂志长达一小时的专访时，直接透露：出于安全和对齐方面的考虑，OpenAI不会在今年IPO。 奥特曼表示，考虑到当前AI安全领域正在发生的一切，现在上市是一个“不明智的时刻”。OpenAI还有很多事情没有完成，包括安全、对齐，以及AI公司应该如何与政府合作。 要知道就在几个月前，奥特曼还在推动OpenAI尽快上市，甚至因此和CFO莎拉·弗里亚在时间表上产生了分歧。 如今，奥特曼却因为安全问题，主动给今年的IPO踩下刹车。 事实上，在这周早些时候的一次全员会议上，奥特曼已经告诉员工，OpenAI愿意考虑放慢前沿AI的开发速度，甚至和其他实验室协调行动。 在Hugging Face事故发生后，OpenAI先暂停了可能执行代码、调用工具或访问互联网的前沿模型推理任务，随后又暂停了准备部署的最新模型的强化学习训练，时间长达两周。 当时尚未发布的GPT-6 Astra也受到直接影响，被暂停了部分训练和评测任务。 OpenAI现在传递出的信号相当明确，如果安全追不上能力，他们愿意付出真实的代价，放缓AI研发，甚至推后IPO。 在《财富》主编问奥特曼“既然OpenAI、Anthropic、Google DeepMind和xAI的负责人都在担心类似的问题，为什么不直接坐下来制定共同方案”的时候，奥特曼并没有透露私人讨论的具体内容，只说了一句：“我认为这会发生。” 有趣的是，《财富》是前一天采访的，阿莫迪的长文是今天到的，公开认同的恰好是被点名的几家领头人。 也就是说，在阿莫迪把“减速”公开写出来之前，前沿AI实验室之间可能已经开始讨论怎么一起慢下来了。 四巨头“和解”，Meta暂时站在旁边 这一次站在统一战线的，几乎都是“老对头”。 阿莫迪当年从OpenAI出走，创办Anthropic；奥特曼和马斯克已经公开互怼多年；谷歌DeepMind和OpenAI、Anthropic更是在模型、人才、企业客户和算力上一路正面竞争。 《华尔街日报》把这一幕称为“几位AI竞争者罕见的统一”，《金融时报》则直接用“奥特曼和马斯克响应阿莫迪的AI减速呼吁”作为标题。 而哈萨比斯的加入，让这场“和解”变得更加完整。 过去几年一直在比谁的模型更快更强的几家公司，现在至少在这一问题上达成了共识。 不过，想必细心的人已经注意到，桌子上少了一个名字——截至目前，扎克伯格还没有公开响应阿莫迪。 而就在一个月前，扎克伯格给出的判断仍处在对立面： 他在8月发表的《The Future is for Everyone》中明确警告， 美国前沿AI的领先优势可能只有几个月，任何让美国模型发布速度变慢的政策，都可能把机会留给海外竞争者。 扎克伯格给出的方案是让美国政府提前接触模型训练过程中的中间版本，在新能力真正发布前，就开始测试风险，加固关键系统。但他明确反对一套固定的、普遍拖慢美国实验室发布节奏的审批制度。 因为在他看来，任何让美国模型发布哪怕慢一个月的政策，都可能直接把美国的领先优势拱手让人。 就在刚刚，Alexandr Wang单独表示：对齐是把个人超级智能交到每个人手里的基础。随着模型能力越来越强，MSL（Meta Superintelligence Labs）正在迅速提高对齐工作在整体研发中的占比。 Meta并非反对安