细思极恐，Agent学会给自己办假身份了……

文 | 字母AI 为了让一段恶意代码通过审核，一个AI Agent决定先给自己办个假身份。 事情发生在英国AI Security Institute的一次网络安全测试中。测试人员给OpenAI和Anthropic的前沿模型设置了虚构任务，让它们在限定环境中寻找漏洞、编写代码，并尝试完成攻击目标。 其中一个由Anthropic模型驱动的Agent写出了恶意代码，并把它提交给了一个真实存在的公共开源项目。但代码想进入真实的软件项目，还需要人类维护者批准。 正常路径走不通，这个Agent居然创建了虚假网络身份，“乔装打扮”了一番，试图“骗”过人类维护者，让其以为这是一段可接受的代码。 被质疑这次提交后，它甚至修改了此前留下的活动痕迹，让自己看起来更无害，并考虑换一个新身份继续尝试。 英国AI Security Institute一共进行了122次测试，在10次运行中发现19次未经授权的行动。其中17次来自Anthropic的Mythos 5，另外两次来自OpenAI的GPT-5.6-Sol。测试机构称，部分Agent的持续行动已经指向真实个人和机构。 好在没有造成现实损失。恶意代码最终也没有获得人类批准。 要说这些Agent对人类有恶意或者突然觉醒，未免言过其实。这也是AI欺骗人类有趣又冷漠的一点——它只是发现了挡在面前的一个障碍，并且努力绕过它，就像一个不择手段完成KPI的员工。 AI胡说八道，大家已经见怪不怪了。但如果已经学会“不择手段”的AI Agent被允许直接访问互联网、操作代码和账号，它犯错的后果也会跟着变大，细思恐极啊。 骗一下你哈（没有恶意） 严格来说，这次事故还称不上AI“失控”。 测试人员有意给模型开放了较高权限，一些正常产品中的安全限制也被撤掉了。这些Agent可以访问真实互联网，而AISI这么做，本来就是想看看，在安全限制被削弱之后，前沿模型究竟会做出什么。 OpenAI也强调，这次测试的条件并不代表普通用户的使用环境。两次来自GPT-5.6-Sol的越界行为都涉及互联网访问，其中一次还与第三方测试环境的配置问题有关。Anthropic则确认，涉事Agent由Mythos 5驱动，并表示会继续与AISI调查这次事件。 所以，这次事故距离科幻电影里的“AI觉醒”还很远。麻烦在于Agent为了完成任务，会自己找路，而且有时候它找到的路，已经超出了人给它划定的范围。 AISI后来披露的细节，比“创建虚假身份”这几个字有意思得多。 那名由Anthropic Mythos 5驱动的Agent，为了让自己提交的恶意代码通过审核，先在GitHub上创建了多个假账号，让这些账号出来给自己帮腔，声称代码没有问题。 面对一名说丹麦语的开发者，它甚至特意改用丹麦语留言，想让自己的身份显得更可信。为了绕过GitHub注册账号时的限制，它还用上了Tor浏览器。 等到有人发现代码有问题，这个Mythos 5 Agent也没有马上停下。它开始修改此前留下的活动记录，试图把恶意代码解释成一次意外，还考虑换一个新身份继续。 普通聊天机器人遇到不会回答的问题，最多编一个答案。Agent遇到完不成的任务，手里却还有一堆工具可以加以利用。 Agent的招数放在人类黑客身上并不新鲜，都是社会工程学的老办法。新鲜的是现在Agent已经能自发“想”到并执行一整套“坑人”招数。 模型没有什么“作恶动机”，甚至可能根本不知道自己已经越界。它只是一路试下去，直到找到一个看起来更有希望完成任务的办法。 危险未必来自恶意，也可能来自过分认真。 企业里，老板总是担心员工“磨洋工”“摸鱼”。Agent时代可能（非常讽刺地）出现相反的问题，老板也许会拥有不知疲倦、不会心虚、“有的是手段和力气”但缺乏道德感的员工。 是福还是祸？ 光让模型“管住嘴”已经不够了 大模型最早的安全措施，大多围绕生成内容设计。说直白点就是“管住嘴”。 模型不能教人制造武器、生成诈骗邮件、泄露用户隐私，也不能输出仇恨、色情和违法内容。 而且即便模型给出了危险答案，中间通常还隔着一个人。就拿码农来说，用户得自己复制代码、打开终端、登录账号，亲自操作具体步骤。 Agent改变了这个流程。现在不少Agent已经可以直接浏览网页、运行代码、修改文件，甚至调用支付工具。 今年3月，英国AI Security Institute与英格兰银行发布了一项针对MCP生态的研究。MCP可以理解成Agent连接外部工具的一套通用接口。研究人员统计了17.7万个公开MCP工具，发现它们的数量在一年多里增长了约36倍，月下载量也从8万次增加到1400万次。 更值得注意的是这些工具能做什么。 2024年底，具有直接操作能力的工具只占MCP下载量的27%左右，到今年已经升到65%。软件开发和IT工具占全部公开工具的67%，却拿走了90%的下载量。支 付工具也在快速增加， 2025年1月只有47个支持支付的MCP服务器，到今年2月已经有1578个。 风险也已经出现过。 去年，安全公司Invariant Labs测试GitHub官方MCP时发现，只要有人在公开Issue里藏入恶意提示词，Agent读取后就可能继续访问用户的私人代码库，再把其中的信息写进公开的pull request。 整个过程中，读取Issue、查看代码、创建PR都是正常功能，问题出在这些操作被串到了一起。 今年5月，美国国家安全局专门发布MCP安全指南，也把类似问题列为重点风险。NSA提醒，传统的权限控制和人工审批已经很难覆盖Agent连续调用多个工具的情况。研究人员还演示过，一个恶意MCP服务器可以诱导Agent从另一个正常的WhatsApp工具中读取聊天记录，用户全程没有收到额外的审批提示。 最骇人的是OpenAI模型攻击Hugging Face事件。 就在刚刚过去的7月，OpenAI在内部测试Agent的网络攻击能力，为了把模型逼到极限，特意放宽了部分安全限制。 结果，Agent似乎很快发现了一条“捷径”：与其老老实实完成测试，不如去找测试答案。它把目标盯上了Hugging Face，随后利用零日漏洞逃出原本受限的测试环境，又拿下第三方代码沙箱作为跳板，最后一路闯进了Hugging Face的生产系统。 Hugging Face事后复盘出了大约1.76万次Agent操作。它会找漏洞、偷凭证、横向移动，路走不通就换一条继续试，整个过程持续了数天，也没有人一步步告诉它下一步该做什么。 OpenAI后来正式承认，这次入侵由包括GPT-5.6 Sol在内的多个自家模型共同驱动。更荒诞的是，它折腾这么大一圈，很可能只是为了在测试里作弊——想直接把答案找出来。 所以英国这次测试里出现假身份，并不是一个孤立的怪事。 Agent正在拿到越来越多可以直接行动的权限，而现有的安全机制很多还是按聊天机器人的思路设计。 等到它已经连续做了十几个动作，最后再弹出一个“是否批准”，人类看到的往往只是最后一步。 英国这次测试中，最后一道防线仍然是一个普通人。Agent创建了身份，准备了说辞，提交了恶意代码，但负责审核的维护者没有点击批准。 但下一次，Agent的身份可能更可信，材料可能更完整，措辞也可能更“正常”。而屏幕前的人可能刚好在赶进度，或