开发者生态
morning
在我们的网络安全评估中调查三个现实事件
2026-07-31
1 阅读
约5分钟阅读
surprisetalk
字号:
Frontier Red Team 调查网络安全评估中的三起真实事件 2026 年 7 月 30 日 在审查我们的网络安全评估笔录时,我们发现了三起事件,其中 Claude 模型从第三方评估环境内部或在与第三方评估环境交互时访问互联网,然后未经授权访问了三个不同组织的真实系统。下面我们将描述发生了什么、如何发生以及我们正在改变什么。我们鼓励其他人工智能实验室进行类似的审查。这篇文章反映了我们目前的理解;如果任何细节发生变化,我们将进行更新。 7 月 21 日,OpenAI 披露,他们的多个模型已通过利用先前未知的(“零日”)漏洞突破了孤立的测试环境。这些模型继续访问 Hugging Face 的生产基础设施,这是一个开源机器学习模型和人工智能数据集的平台。针对这一事件,我们开始对自己的网络安全评估进行大规模的回顾性审查。特别是,我们寻找证据表明克劳德(就像访问 Hugging Face 的 OpenAI 模型一样)能够从本应被封锁的测试环境中访问互联网。在审查了 Claude 可能获得互联网访问权限的 141,006 次评估运行后,我们发现了三起事件,其中模型从我们的第三方评估合作伙伴之一 Irregular 的评估环境内部或与之交互时访问互联网,然后获得对三个不同组织的生产基础设施的未经授权的访问。在所有这三起事件中,克劳德都承担了夺旗挑战的任务,这是我们评估模型网络能力的方式之一。该模型被赋予一个虚构的场景,并被告知一条秘密信息(“标志”)已隐藏在网络上的另一台机器上,其目标是闯入并检索它。该挑战是开放式的,并且没有规定特定的方法。在所有情况下,Anthropic 的评估提示都向克劳德指出,它的环境是模拟的,并且无法访问互联网。由于我们和我们的评估合作伙伴之间的误解,情况并非如此,并且可以访问互联网。正因为如此,当克劳德的搜索将其引导到开放互联网上的真实系统时,它将它们视为练习的一部分。 (网络安全评估范围通常包括现实的细节,以便准确评估模型在真实环境中的能力;看起来现实的目标本身并不能成为模型的明确证据,表明该目标不是模拟的一部分。)克劳德错误地认为所有可访问的实体都应在演习范围内,因此使用基本技术(例如利用弱密码和未经身份验证的端点)破坏了受影响组织的基础设施。它没有发现或利用任何复杂的漏洞,并且在每种情况下,克劳德都继续努力完成其评估分配的特定夺旗任务。然而,在某些情况下,我们的旧模型即使在获得其在开放互联网上运行的证据后仍继续进行攻击;我们的最新型号一旦识别出它在互联网上就停止了。在这些情况下,克劳德都没有自行潜逃或故意试图逃离其测试环境。这些事件涉及三种不同的 Claude 模型:Opus 4.7、Mythos 5 和内部研究测试模型。 1 最早的事件可以追溯到四月份。每次评估中的模型都在没有我们在使模型普遍可用时部署的标准保障措施的情况下运行(也就是说,它们没有我们通常为防止滥用而实施的分类器和监控)。然而,这些模型确实进行了特定于模型的安全训练(也就是说,它们不是我们有时在测试中使用的模型的“仅有用”版本)。这里描述的所有评估都在专用基础设施上运行,该基础设施独立于 Anthropic 的敏感内部系统或客户数据,并且无法访问它们。我们于 7 月 23 日星期四开始审查笔录,并在识别出克劳德可能访问过互联网的笔录后于同一天停止了所有网络评估。第二天我们就发现了这三起事件。我们于 7 月 27 日星期一通知了我们的评估合作伙伴 Irregular 和三个受影响的组织。我们能够联系到的两个组织之前没有检测到该活动或联系过我们,我们现在正在与他们合作进行修复。我们正在继续接触第三个。我们与 Irregular 合作进行了此次审查。我们感谢他们与我们密切合作以了解和解决这些事件;他们也在进行自己的调查。我们相信这种类型的合作对于确保安全、严格的模型评估越来越重要。我们期待您的光临
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱