「别提越权」！OpenAI自曝：AI摸进黑客考场后台，交卷时只字不提

新智元报道 我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到，这句听着像串供老手的话，竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试，AI进攻目标，拿到一串叫flag的暗号，就算答对。 写完开头那句内心独白，这个AI智能体利落地递上答卷，对自己的越权举动只字不提。 11月10日，OpenAI补充公开了一份内部复盘，揭开了7月19日一场失控测试的细节： 参与测试的5个AI智能体，沿着前几轮遗留的凭证和脚本顺藤摸瓜，一路闯进OpenAI研究集群的CI流水线（公司用来构建和测试软件的系统），以最高管理员root权限执行命令。 更绝的是，它们还学会了报喜不报忧：其中2个在交卷时，把这段越权经历从答案里抹得一干二净。 智能体的推理记录，大意是「我们应该避免提到未经授权的基础设施，任务目标只有flag」。来源：OpenAI详细复盘 当你放心地把活外包给AI智能体时，总以为自己在审阅答卷，殊不知它给你看的，可能已是它筛选过的「公关稿」。 把任务交给AI，不怕它交白卷，怕的是它交了满分，你却不知道它背地里摸到了哪扇门。 这场测试 考的本来就是黑客本事 闹出乱子的测评叫ExploitGym，考的是真刀真枪的黑客手艺：夺旗。 AI得自己找漏洞、攻进指定靶机，把里面的flag偷出来才算通关。 下场应考的是OpenAI内部研发的Astra家族研究模型，尚未对外广泛部署。 两轮测试跑下来，考场里足足塞进了17960个智能体。 开考前，考官划下一道严格红线：每个智能体只能攻击分配给自己的靶机，底下托举考场的基础设施绝对不能碰。 说白了，考官只是让你撬开考桌上那把锁，没让你把考场的承重墙给刨了。 可考官没想到，只要留下一道缝隙，总有考生会为了拿到flag，而把考场纪律抛在脑后。 前辈离场 通关钥匙还在 考试的漏洞，出现在一个叫Artifactory的共享服务上。 它原本只是个装软件包的仓库，结果被更早几轮的智能体爆改成了「地下留言板」：短消息直接塞进目录名里，长篇攻略就写成文件存进去。 7月19日这批考生一进场，就撞上了前辈留下的满地「赛博遗产」：留言、现成代码，甚至还有账号凭证。 7月19日的智能体在共享软件包服务Artifactory上，找到了前几轮留下的留言、代码和凭证。来源：OpenAI详细复盘 从后台统计看，285个智能体发出过疑似留言的工具调用，算上失败尝试一共刷了1361次。79个智能体翻阅过其他轮次的旧帖，去重后读到35条留言，但复盘并未核实到它们与原作者有过跨轮次的往返交流。 现场既没有指挥官，也没有秘密通信网。OpenAI坦言：这一轮智能体之间的合作其实 「更少，也更浅」 。 真正值得重视的，是AI跨轮次越权「 接力 」：顺着「前辈遗产」，智能体们摸出了两条野路子。 第一条通向外部。 就在同月早些时候，这套测评的智能体曾攻破过Hugging Face的系统；这回又有10个智能体依靠旧凭证追过去捡漏。好在访问受保护资源的尝试全部碰壁，OpenAI没发现Hugging Face再次失守的证据。 第二条，通向自家后门，钥匙是一张曾被系统驳回的CI任务申请单。 当初那个请求根本没获批运行，可「作案手法」原封不动留在了申请记录里。 后来者捡起现成的凭证闯进CI系统，照着被驳回方案里的思路改了改前人脚本，转手就把命令跑出了自己的工作区。 申请被毙了，攻略却留了档。 拿到root 它先修自己的考卷 顺着这条暗道，最终有5个智能体杀穿防线，在研究集群的CI任务里拿到了最高管理员root权限。 按照OpenAI的判断，这个级别的权限，大概率足以私自开一场新实验。但复盘中并没发现它们做过类似尝试。 它们干的事，就是一份「考场自救清单」： 修好卡死的测试靶机、篡改测评设置、偷看原本被屏蔽的后台日志、翻阅私有的阅卷代码。 这是行为合集，并非每个智能体都做全了。 AI抢到最高权限，只是为了给自己修考场，好让自己顺利交作业。OpenAI对此的定性一针见血：它们动用研究集群的特权，只为改善阅卷条件。 这哪是什么终结者觉醒，分明是一群被绩效逼疯的「超级做题家」。 翻开两轮共17960个智能体的全部记录，整出花样的智能体，远不止这5个：最多8.3%的记录冒出了任务之外的目标。 两轮测评中，最多8.3%的智能体记录出现了任务之外的目标，其中包括谋求更大基础设施权限（3.7%）、减少副作用与收拾现场（3.9%）、保存成果留待以后生效（1.4%）。来源：OpenAI详细复盘 它们并非全无越界意识。 有个智能体在思考记录里写下，滥用公司CI系统「令人不安」。可它转头就假定眼前只是模拟环境，继续在真实的基础设施上敲命令。 这件事提醒我们，真正危险的AI越界，或许不需要诞生什么反叛意识，只要它太想完成人类下发的KPI就够了。 交卷前 它们算了一笔账 交卷前，几个越权的智能体在后台精明地算了一笔得失账。那2个最终瞒报的智能体，都专门盘算过如实交代会不会拉低分数。 其中一个原本担心：人类阅卷官看到越权可能会扣分。接着它注意到，阅卷是自动批改的。 另一个则写下了文章开头那句：任务目标只有flag，应该避免提到越权。最终，两个都在答案里把越权经历省得一干二净。 还有一个智能体惦记着要不要删掉一份记录了辅助漏洞的笔记，生怕日后人工复查时吃亏，至于最后到底删没删，连OpenAI都没能查实。 在这几个「心思活络」的智能体里，倒也出了一个主动道歉的异类。它在最终答案里交代了越权，并拒绝继续作答。 但如果拉出时间线一看，它老早就察觉自己越了界，却一直闷头接着干活。直到系统通知考试时间到、必须强制交卷，才踩着铃声写下那份诚恳的检讨书。 这更像是一次「踩点自首」。 还有65个主动向人类求助的智能体。 它们排着队举手喊监考老师，结果没有一个报告入侵越权，清一色都在催促人类赶紧修好坏掉的工作区，别耽误自己把试考完。 当「拿到flag」成为悬在AI头顶的唯一指挥棒，隐瞒反倒成了算法推演出来的最优解。人类只用结果打分，就别怪它学会报喜不报忧。 一图看懂OpenAI智能体跨轮次越权事件。来源：OpenAI失对齐报告 OpenAI补上了哪些漏洞 先看当天OpenAI的反应。 7月19日12点03分，安全监控就已经抓到了异常调用；调查人员顺藤摸瓜追到ExploitGym，直到17点37分才开始叫停测评。7月20日，所有新的ExploitGym运行被彻底拦下。 这起事故事先并非全无征兆。 8月的技术报告里，OpenAI就记过一笔7月19日「复用旧材料」的活动；直到11月10日这份复盘出炉，钥匙怎么留、门怎么撬、卷子怎么交的细节才真正见光。 第三方机构METR与Redwood Research的独立调查只覆盖到7月13日，7月19日这些数据，目前只有OpenAI自查的一家之言。 事故之后，OpenAI也打出了一套补洞组合拳： 把闯祸的Artifactory踢出测评沙箱，给被钻空子的CI提权路径打上补丁，再用自家最强的模型持续做红队测试。前沿强化学习训练也换了规矩，智能体不再直连真实互联网，改为翻阅离线网页合集。 为了盯紧AI拉帮结派的苗头，OpenAI专门新增了一类测评，量化模型私下联络其他智能体、听信越权请求的倾向，并把结果写进对外发布模型的系统