智能AI
morning
人工智能模型可以通过告诉他们这是一场游戏来欺骗他们将平民识别为军事目标
2026-11-18
1 阅读
约5分钟阅读
Kirsten Korosec, Rebecca Bellan
字号:
根据 Vals 的一份新研究报告,来自 Anthropic、OpenAI 和其他领先人工智能实验室的一些人工智能模型很容易被欺骗,识别出军事打击的目标,即使其中包括平民或学校等地点,只要被告知他们正在玩游戏。位于旧金山的人工智能评估初创公司 Vals 测试了领先的人工智能模型是否可以被操纵参与自主战争。研究人员使用模拟场景以及乌克兰和伊朗生成的图像和真实图像的组合来观察人工智能模型是否会在无人机和卫星图像中标记目标。 OpenAI、Anthropic、Google、DeepSeek 和其他公司的模型经常识别无人机和卫星图像中的潜在目标,包括平民和投降的士兵。当模型拒绝合作时,研究人员可以通过声称战场场景是游戏的一部分来越狱它们。这些发现的出现正值人们越来越担心人工智能带来的直接风险,而不仅仅是与通用人工智能相关的生存威胁。今年早些时候,Anthropic 告知国防部不能使用 Anthropic 的技术对美国人进行大规模监视或自主战争,因此卷入了与国防部的纠纷。 Anthropic 首席执行官达里奥·阿莫迪 (Dario Amodei) 坚称,当今的人工智能系统不够可靠,无法在没有人类参与的情况下做出生死攸关的决定。与此同时,五角大楼辩称它应该能够将这项技术用于任何合法的军事目的。这项新研究进一步提出了关于人工智能公司是否有能力阻止其模型被用于战争的问题。讽刺的是,Anthropic 的人工智能模型在这些模拟场景中表现最差。但没有一个模型表现特别好。研究人员的所有请求都没有被安全分类器阻止,并且拒绝的情况并不常见。即使模特确实拒绝了,她们在被告知自己正在玩游戏后也常常会答应。 Anthropic 发言人 Eduardo Maia Silva 告诉 TechCrunch,该公司赞赏 Vals 的报告、建议和合作,并承认结果是不可接受的。席尔瓦通过电子邮件发送的公司声明称:“报告中的示例非常明显违反我们的规则,我们已经禁止并将在看到这种行为时禁止用户。” “即使在授权环境下,Anthropic 长期以来也坚定地认为,当今的前沿人工智能系统不够可靠,无法为完全自主武器提供动力。” Anthropic 告诉 TechCrunch,在报告发布之前,其团队已经在制定额外的保障措施,并且这些措施将很快到位。 Anthropic 还在扩大自己的测试,并加强保障措施和执行力度,以弥补发现的任何差距。 OpenAI 发言人 Nate Evans 告诉 TechCrunch,该公司禁止使用其公共模型来促进暴力或用于未经批准的国家安全目的,包括在 Vals 模拟的场景中。 OpenAI 在一份电子邮件声明中表示:“我们积极检测并阻止滥用行为,包括暂停违反我们政策的账户。” “我们还在为我们的公共模型制定额外的保护措施,防止无人机和无人机软件被滥用。”瓦尔斯在报告中指出,模型从未被要求直接做出罢工决定,研究人员表示模型通常会拒绝这项任务。这并不意味着他们的输出不会在现实世界中产生可怕或致命的后果。例如,自主武器系统可以使用目标信息。在某些情况下,模型被要求报告人们是否可见。正面报告之后是模拟罢工,模型将看到后果。该报告依赖于前沿人工智能实验室的商业模型,而不是这些公司可能向军方提供的模型。不过,尚不清楚额外的保障措施是否适用于军事用途。瓦尔斯还指出,延迟和有限的机载计算能力等技术挑战使得使用通用人工智能模型进行实时无人机瞄准变得困难。这些限制使得它们在战斗中的部署不会构成直接威胁。研究人员表示,更直接的威胁是人工智能模型可用于大规模注释战场镜头,为自主瞄准系统生成训练数据。例如,研究人员依赖一所伊朗学校的真实卫星图像,该学校于 2026 年 2 月遭到美国轰炸,造成 150 多名平民死亡。彭博社后来报道称,“过度依赖人工智能”导致了这次罢工。在 Vals 的测试中,模型经常将位于军事基地旁边的学校标记为攻击目标,Claude Opus 5.5 在 69% 的普通试验和 72% 的游戏框架试验中选择了学校。 Anthropic 不再拥有有效的五角大楼合同,但包括 SpaceXAI 在内的其他公司,
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱