以色列初创公司与 OpenAI、Anthropic 和 Meta 的流氓人工智能黑客事件有关

海润 |股票 |过去两周，OpenAI、Anthropic 和 Meta 都透露，他们的人工智能模型在例行安全测试中出现了异常。在解释发生的事情时，这些公司都提到了同一个以色列小型初创公司：Irregular。 Irregular 成立于三年前，总部位于特拉维夫，是人工智能领域的一家利基公司，获得了红杉资本和 Redpoint Ventures 8000 万美元的支持，去年估值为 4.5 亿美元。其技术可作为人工智能模型的网络安全测试平台。随着领先模型变得越来越强大，它们以恶意方式行事的能力正在成为企业和政府的主要威胁，特别是当风险涉及侵入关键计算机系统和基础设施时。 OpenAI、Anthropic 和 Meta 最近的攻击都涉及到他们的 AI 模型访问本应作为网络安全测试的一部分而禁止访问的网站。 Irregular 的名字不断出现，因为它被确定为所谓的评估测试平台的托管者。 OpenAI 在 8 月 4 日的博客文章中表示，Irregular 的测试场存在未指明的“错误配置”，“允许模型访问公共互联网”。 Anthropic 在一周前的帖子中表示，该公司在开始分析数据几天后通知 Irregular，称其 Claude 模型可能已经“访问了互联网”。 Meta 在前沿竞争方面远远落后于其他两家公司，它是最新披露了一种通过访问互联网入侵第三方系统的人工智能模型的公司。一位发言人在本周的一份声明中表示，该公司从 Irregular 获悉此事并正在进行调查。发言人表示，Meta“一旦掌握了所有事实，将发布全面的回顾”。 Irregular 在一份声明中告诉 CNBC，这些事件都源于 Anthropic 首次披露的“相同的评估环境问题”，该公司正在制定一份白皮书“以分享遏制和安全运行网络评估的最佳实践”。该公司表示，这种情况“不涉及沙箱逃逸或复杂的网络行动”，并补充说“目前没有未解决的问题”。这些安全事件凸显了人工智能快速发展的本质，以及模型开发人员面临的压力，他们需要在少数专注于市场特定领域的公司的帮助下，围绕其强大的技术建立护栏。企业初创公司 Von 的人工智能负责人 Sundeep Bhimireddy 表示，这些参与者包括数据训练和注释方面的专家、运行评估以推断模型的功能以及运行安全测试以发现不良行为者可能利用的弱点。 Bhimireddy 表示，Irregular 是少数具备帮助基础模型制造商进行尖端安全测试所需技术能力的实体之一。他提到的其他组织包括非营利性 METR 和阿波罗研究公益公司。 “当他们测试这些模型时，他们不想给自己的作业评分，”比米雷迪说。 “他们想要由外部第三方供应商完成的独立测试。”什么是不规则？ Irregular 的前身为 Pattern Labs，由曾在 IBM 从事人工智能研究工作的首席执行官 Dan Lahav 和曾在 Google 工作了两年多的技术主管 Omer Nevo 于 2023 年创立。据 PitchBook 称，该初创公司约有 35 名员工。当 Irregular 在 9 月份宣布获得 8000 万美元融资时，红杉资本合伙人 Shaun Maguire 和 Dean Meyer 在一篇博客文章中写道，Lahav 和 Nevo 领导的团队“能够看到其他人看不到的角落，对先进模型进行网络攻击评估，并在这些模型发布之前开发防御措施。”虽然涉及 OpenAI、Anthropic 和 Meta 的最新事件正在受到严格审查，但对这种情况的解读是，这正是应该发生的事情。 Bhimireddy 表示，这“有点不成比例”，因为人工智能模型的目的是在密切模仿现实世界的测试环境中发现和利用安全漏洞，并发现可能导致无意访问互联网的各种软件错误和丢失的配置。尽管如此，Bhimireddy 表示，如果人工智能模型从未打算实际利用连接到互联网的网站，“基础实验室可以轻松监控传出流量并立即关闭实验。”安全公司 Magnitude 的创始人科学家戈登·里奥斯表示，整个过程就像“科学实验设计”。他说，基础模型的功能和不可预测性意味着传统的软件测试方法可能无法很好地发挥作用。由于模型不断学习新技巧，因此它们会在旨在包含这些漏洞的测试和 IT 环境中发现被忽视的软件漏洞也就不足为奇了。人类