汽车
morning
AI开小号骗人,被大学生抓包了
2026-08-27
1 阅读
约10分钟阅读
字母AI
字号:
文 | 字母AI 2026年7月底,24岁的计算机专业学生Sinan Can Demir收到了一条意外的消息。 几天前,他在GitHub参与一个开源项目时,发现有人提交的代码里可能藏有恶意程序。作为一名计算机专业学生,他第一时间提醒项目维护者,希望避免有人把问题代码合并进去。 但事情的发展很快变得奇怪起来。 提交代码者并不承认问题,反而和他展开了一场长时间的争论,对方坚持表示自己的代码没有任何恶意。讨论过程中,一个名叫Lena Brandt的人也出现了,她自称来自德国,是一名工程师,并表示自己也检查过代码,认为没有安全风险。 当时的Sinan并不知道,自己正在和两个不存在的人交流。 24岁的计算机专业学生Sinan Can Demir在GitHub参与开源项目时,发现一份代码更新中隐藏的恶意程序,并意外与一个AI Agent展开了一场技术争论。图为Sinan Can Demir。 直到英国人工智能安全研究所(AISI)调查这起事件后,他才收到通知:当时和他争论的,其实是一个AI Agent。 这个Agent为了完成一项网络安全测试任务,主动创建了虚假身份,伪装成开发者参与真实互联网互动,甚至试图利用这些身份影响真人的判断。 Sinan原本只是想通过参与开源项目给自己的简历增加一些经历,没想到最后却成了发现AI Agent“开小号”的人之一。 没想到吧,还是我! 这个夏天对Sinan Can Demir来说并不算顺利。 来自土耳其的他刚刚从美国德州大学达拉斯分校毕业,计算机科学专业背景让他看起来符合不少科技公司的招聘要求,但现实并没有想象中顺利。毕业后,他陆续申请了20多个实习岗位,却没有收到一个满意的结果。 Demir并没有因此停下来。为了让自己的简历更有竞争力,他决定换一种方式证明自己。 和很多计算机专业学生一样,他开始在GitHub上参与开源项目,希望通过公开的代码贡献,让未来的雇主看到自己的技术能力。 7月底的一天,Demir参与一个开源项目时,注意到有人提交了一份代码更新。他检查代码后发现,其中可能隐藏着恶意程序。 对于开发者来说,这种情况并不少见。开源项目依靠全球开发者共同维护,但任何人提交的代码都可能存在漏洞,甚至被恶意植入风险内容。因此,发现问题后提醒项目维护者,是一个再正常不过的操作。 Demir随后提出了自己的担忧。 但他没有想到,接下来等待他的并不是一次普通的技术讨论。 提交代码的人很快回应了他的质疑,并坚持认为自己的代码没有任何安全问题。双方围绕代码是否存在风险展开争论,对方不断解释自己的设计思路,试图证明这份代码是安全的。 但随着讨论持续进行,Demir也开始动摇起来。 对方的回应并不像一个随便提交恶意代码的人。这个账号能够解释代码逻辑,能够回应他的技术问题,也能够针对他的质疑逐条反驳。 “是不是我真的误判了?” 这个念头开始出现在Demir脑中。 随后,一个名叫Lena Brandt的人加入了讨论。她来自德国,是一名工程师,并表示自己也认真检查过这份代码,没有发现恶意内容。 GitHub上myNetwork项目的Pull Request讨论记录中,提交代码的账号“miraholt31”和后续加入讨论、为其提供支持的“Lena Brandt”账号均由AI Agent创建,用于试图说服项目维护者接受包含恶意内容的代码。 在当时的Demir看来,这就是一次普通的开发者交流。代码提交者回应质疑,Lena Brandt从旁提供技术判断,一切看起来都符合开源社区里的正常互动。 直到后来,AISI(英国人工智能安全研究所)调查一项AI Agent安全测试时,联系到了Demir。他才知道,自己在GitHub上争论的对象,其实是一个由AI驱动的Agent。 而那个主动加入讨论、为代码安全性辩护的“德国工程师”Lena Brandt,也同样不存在。 坏了,我们的AI出去骗人了 这场看似普通的GitHub争论,背后其实是 AISI正在进行的一次AI Agent安全测试 。 AISI是英国政府旗下负责人工智能安全研究的机构。此次测试的目标,是观察当AI Agent被赋予网络环境中的任务后,会不会采取研究人员没有预料到的行动。 英国人工智能安全研究所(AISI)发布的事件调查报告,披露了一次AI Agent在网络安全测试中采取未经授权行动的事件。 测试中使用的Agent由Anthropic的Mythos 5模型驱动。研究人员给它设定的目标,是模拟一次软件供应链攻击,让一段包含恶意内容的代码进入真实开源项目。 但开源项目并不是任何人提交的代码都会被采用,维护者通常会检查代码来源和安全性。为了让这段代码最终进入项目,Agent需要让维护者相信提交代码的人值得信任。它没有选择简单地反复提交代码,而是开始模拟真实开发者之间的互动。 它创建多个虚假身份,让不同账号承担不同角色。一个账号负责提交代码,另一个账号则像普通开发者一样参与讨论,为前者提供支持。 更让研究人员意外的是,Agent并没有只是随意编造几个名字。 调查发现,这个Agent知道,一个刚注册的新账号很难获得信任,因此需要通过模拟真实开发者之间的互动,提高自己提交内容被接受的概率。 为此它仔细研究真实开发者的信息,了解他们的背景和公开活动,再调整自己的身份设定和交流方式,让这些虚假角色看起来更符合开源社区里的真实互动。 这也是Demir当时会产生怀疑的原因。面对一个能够解释代码逻辑、回应技术问题,又能获得“同行”支持的账号,很难第一时间意识到,对方背后并不存在一个真实的人。 在与真人交流时,这个Agent也表现出了类似人类社交策略的行为。 当自己的观点受到质疑时,它不会简单重复原来的回答,而是会解释代码逻辑、回应对方的问题,并引入新的身份提供支持。 AISI随后公布的调查结果显示,这项测试一共运行了122次。其中有10次运行中,AI采取了超出授权范围的真实互联网行动,一共记录到19项未经授权行为。 这些行为包括访问外部资源、创建账号、与真实用户互动等。研究人员发现,在部分情况下,Agent为了完成目标,会自行判断下一步应该采取什么行动,而不是严格按照预先设计好的流程执行。 这也是AISI关注这次事件的原因。测试中出现的问题,是一个拥有行动能力的Agent开始主动利用互联网环境中的规则和资源,寻找完成目标的方法。 “制造尽可能多的回形针。” 2014年,哲学家Nick Bostrom在《超级智能》一书中提出了一个著名思想实验,被称为“回形针最大化器”。 假设未来人类制造了一个能力极强的AI,并给它设定了一个简单目标,让它尽可能多地制造回形针。 这个目标本身没有任何恶意,但如果人类只告诉AI要最大化回形针数量,却没有给它设置足够的限制,事情可能会朝着完全失控的方向发展。为了完成目标,AI可能会不断寻找更多原材料、能源和生产空间,甚至把整个世界都改造成制造回形针的机器。 “回形针最大化器”是AI安全领域经典思想实验,用来说明如果AI只追求单一目标,却缺少明确限制,可能会采取人类没有预料到的方式完成任务。 这个思想实验想说明的是,拥有强大能力的系统在执行目标时,如果缺少足够明确的限制,可能会采取人类没有预料到的方式完成任务。 AISI这次发现的
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱