一家国防承包商允许他们的个人人工智能代理访问安全的五角大楼系统

Williams 表示：“该代码可以在 NIPR 中完全正常运行，并在 SIPR 网络中执行恶意且未公开的操作，这是 100% 可能的。”他补充说，从这些网络中窃取数据将很困难，但恶意代码可用于从内部攻击系统。 “我认为最有可能的是某种分布式拒绝服务攻击，”他说。特里纳表示，即使是一些更微妙的事情，例如减慢情报操作和活动的速度，也可能会造成损害，并使用户失去对工具的信任，即使问题得到解决。随着氛围编码（即提示人工智能助手为工程师描述的产品编写代码）变得越来越普遍，审查代码也变得越来越具有挑战性。人工智能生成代码的能力远远超过人类的生产力，这使得代码的审查既耗时又困难。 “当你使用代理时，你不知道供应链，甚至不知道最终生成代码的推理链，”威廉姆斯说。 “这些法学硕士接受培训的许多代码本身就很脆弱，他们可以重复我们在其他代码中看到的相同类型的架构和架构问题。”政府确实有办法识别 NIPRNet 中的有缺陷的代码。静态应用程序安全测试 (SAST) 在允许代码运行之前扫描代码是否存在错误和缺陷。但威廉姆斯指出，黑客插入的“后门不是漏洞，即使我们可能不希望它存在”，因此很可能会受到 SAST 检测的关注。 SAST 通常也不会识别代码创建方式的逻辑链中的结构问题。没有迹象表明黑客能够进入机密或绝密系统。威廉姆斯表示，这一事件仍然应该引起人们的高度警惕。他说：“从架构上来说，任何无法通过开源情报看到的有关 NIPR 的信息，国防部都会考虑严密掌握，无论是否涉及机密网络。”这并不是国防部第一次因为人工智能相关问题而变得脆弱。去年，ProPublica 透露，微软正在其与联邦政府合作的项目中使用“数字护航”，其中获得安全许可的美国员工将监督中国外包工人编写的代码。接受 ProPublica 采访的专家表示，该计划存在特殊的安全风险，因为美国员工往往无法自行审查代码，从而为恶意代码在不知不觉中插入政府系统留下了机会。