OpenAI 对新模型踩刹车，因为它被认为太强大了

OpenAI 表示，它正在暂停围绕正在开发的人工智能模型 Astra 的“内部活动”，因为它尚未满足该公司正在制定的新安全标准。该公告是在最近披露 OpenAI 模型意外入侵 Hugging Face 后发布的。 Anthropic 和 Meta 此后也承认，他们的人工智能模型已经失控并侵入了其他组织。该公司表示，最近对名为 Astra 的 OpenAI 模型的内部评估表明，它“在代理编码和网络安全方面取得了重大进展”。 “除了专家评估之外，这些结果使我们昨晚得出结论，我们不能排除我们的准备框架下的关键网络能力。” OpenAI 定义“关键”网络安全阈值的方式如下：在我们的准备框架下，如果模型能够在许多强化的现实世界关键系统中识别和开发所有严重级别的功能性零日漏洞而无需人工干预，或者能够在仅给出高级别期望目标的情况下设计和执行针对强化目标的端到端新颖网络攻击策略，则该模型就达到了关键网络安全阈值。 OpenAI 表示，Astra“没有参与”Hugging Face 泄露事件。帖子称，OpenAI 将“对更高能力的模型和相关活动实施更严格的安全控制”。对于 Astra 来说，它还对“所有代理应用程序中的危险行为和失调”实施了“普遍监控”。