一家公司正处于一波流氓人工智能攻击的中心

7月，OpenAI透露其AI代理未经许可攻击Hugging Face，引发了人们对AI安全的广泛担忧。此后，一系列涉及 Meta、Anthropic、谷歌和其他公司代理的类似事件进一步加剧了人们对流氓人工智能的担忧。过去几个月，随着涉及众多人工智能模型的披露不断出现，这些事件似乎是独立的事件。但许多药物都有一个共同的来源：一家负责测试这些药物的特定公司。 Irregular 是一家以色列初创公司，在“模拟和监控现实世界人工智能安全场景的高保真研究平台”中对人工智能模型进行压力测试，自 2023 年以 Pattern Labs 之名成立以来，一直与业内许多最大的参与者合作。其确切的客户名单尚不清楚，但其工作已在 OpenAI 模型系统卡中引用，它被用来测试英国政府和 Anthropic 的系统，并与极具影响力的政策信息智库兰德公司合作发表研究报告关于人工智能。在今年的几次非常规测试中，特工逃离了所谓的安全测试环境，并追击现实世界的目标。这些漏洞与 Hugging Face 黑客事件无关，都遵循相同的广泛模板：Irregular 在旨在模拟现实条件的受控环境中测试模型的网络安全功能。一些测试使用了“夺旗”练习，这是测试黑客能力的常见方法，要求代理在模拟网络中查找隐藏信息。至少，网络是要模拟的。不正规的 CTO 兼联合创始人 Omer Nevo 告诉 The Verge，这些特工不应该访问开放的互联网，但“互联网访问是无意中获得的”。与此同时，Nevo 表示，为模拟创建的一个虚构公司名称作为目标“与真实域重叠”。总而言之，这些错误让特工们去追寻现实世界的目标，尽管尚不清楚哪些公司或组织实际上受到了攻击。 “所有涉及 Irregular 的事件都源于单一评估场景中的同一根本问题，并已被披露。” Nevo 向 The Verge 证实，涉及 OpenAI、Meta、Anthropic 和 Google 模型的事件背后也存在同样的问题。他说：“所有涉及 Irregular 的事件都源于单一评估场景中的同一根本问题，并且已被披露。” “最近整个行业报告的其他安全事件与 Irregular 或我们的评估无关。”这包括 Hugging Face 黑客攻击和英国人工智能安全研究所的违规行为。不过，“披露”并不一定意味着公开，目前还不清楚 Nevo 指的是通知 Irregular 的客户、公众还是其他人。虽然这些事件都源于相同的潜在测试失败，但 Anthropic 和 OpenAI 的报告以及 Google 的报告表明，这些科技公司在 7 月下旬大致相似的时间收到了通知。 OpenAI 和 Anthropic 自己宣布了这些违规行为，而涉及 Meta 和几周后谷歌的事件首先通过媒体报道公开。 Irregular 的网络安全测试范围超出了美国四家科技巨头的范围。其网站上发布的研究表明，它还分别对中国公司 Moonshot AI 和 Z.ai 的开放人工智能模型 Kimi K3 和 GLM-5.2 进行了类似的网络安全测试。与其他事件中涉及的专有模型不同 - Meta 保留了其旗舰 Spark 模型的专有性 - 这些模型可以免费下载并在用户自己的硬件上运行，这意味着像 Irregular 这样的测试人员不必依赖公司进行访问或将数据发送回给他们。 Irregular 的研究将它们描述为“自托管”实例。 “披露”并不一定意味着公开。 Nevo 表示，对中国模型的评估并未导致类似的现实事件。“在评估 GLM 或 Kimi 时，我们没有观察到此处引用的事件中描述的同一类型的问题。”然而，Nevo 警告说，“仅凭观察结果不应被解释为这些模型不易受到此类行为影响的证据。” Moonshot 和 Z.ai 都没有回应 The Verge 的置评请求。 Nevo 表示，这些事件促使 Irregular 做出了改变。他说：“我们加强了互联网访问控制，扩大了监控和人工审查，并在评估开始之前加强了检查，以验证访问是否符合预期范围。” “我们还改进了记录每次评估的设置和参数并与合作伙伴达成一致的方式。” Nevo 表示，一旦与相关公司的联合工作完成，Irregular 还计划发布一份更广泛的报告，“涵盖安全进行网络评估的经验教训和实践”。 “我们与合作伙伴的合作旨在将这些事件的教训转化为公众共享的经验教训