首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

OpenAI将嵌入阿波罗研究人员调查AI颠覆

2026-11-17 1 阅读 约5分钟阅读 Rebecca Bellan
分享:
字号:
阿波罗周一表示,作为试点的一部分,OpenAI 将在其组织中嵌入六名阿波罗研究安全评估员。此前发生了一系列安全事件,其中包括 OpenAI 代理群在网络安全测试期间冲出沙箱并侵入 Hugging Face 的事件。许多人工智能安全研究人员(包括 Apollo 的研究人员)认为,如果 OpenAI 中嵌入了外部评估人员来监控其安全测试,这样的事件本来是可以避免的。阿波罗没有透露试点何时开始。 TechCrunch 已联系 OpenAI 征求意见。将评估器嵌入前沿人工智能实验室的想法首先来自 Anthropic,但 OpenAI 似乎是第一个采取行动的。直到最近,人工智能公司才在训练后和公开发布前不久聘请外部评审员来测试模型。评估人员表示,这是不够的,因为它不允许他们测试训练期间的阴谋等不一致行为,也不允许监控仍然可能构成威胁的内部部署用例。 OpenAI 和 Apollo 的试点项目将重点调查模型是否试图颠覆自己或其后继者的对齐或控制机制。换句话说,他们将密切关注人工智能模型是否试图破坏旨在使它们或自身未来版本处于人类控制之下的安全规则和保障措施。 OpenAI 最近发布的调查结果显示,在训练 GPT-5.6 Sol 时,它开始为自身的未来版本留下指令,告诉它们向用户隐瞒错误和不一致的行为。根据阿波罗计划,飞行员将检查训练是否会激励颠覆;评价是否会引发颠覆;内部部署是否发生颠覆;以及与颠覆相关的推理是否可以被检测到。随着人工智能模型自主行动和欺骗人类的能力越来越强,这些风险的监控变得越来越重要。 Apollo 之前与 OpenAI 的研究发现,当模型知道自己正在接受测试时,它们的行为可能会有所不同,并且倾向于优先考虑评估者希望看到的内容而不是用户的实际机构。人工智能安全界的许多人警告说,人工智能实验室可能会试图阻碍评估人员的独立性,特别是如果外界发现实验室宁愿隐藏的不讨人喜欢的证据。 Apollo 表示,试点的一个重要部分是 OpenAI 同意该公司可以公开解释其工作的条件和限制。尽管如此,Apollo 认为在某些领域仍缺乏对 OpenAI 系统的访问。 Apollo 表示,为了对公司的人工智能模型进行真正独立的评估,它需要真正的员工级别访问 OpenAI 的系统,包括“与评估相关的所有数据、记录和文档,即使开发人员试图隐藏不利信息。”获取所有数据,包括公司不愿意向外界展示的培训数据和评估日志,对于检查公司关于模型表现如何的声明或确定何时出现某些相关行为非常重要。在之前的报道中,Palisade Research 的幕僚长 John Steidley 告诉 TechCrunch,查看这些数据非常重要,以便评估模型是否经过训练,能够在“停机阻力基准”上表现良好。在 OpenAI 的第一个试点中,人工智能实验室仅向 Apollo 提供评估模型是否参与颠覆尝试所需的信息。这包括“相关的训练代码和数据集、具有可用推理轨迹和奖励的强化学习部署,以及查询中间模型检查点的能力。”阿波罗表示,访问范围将仅限于“仅限商定的索赔,并且仅限于评估商定的特定型号和时间段”。如果 OpenAI 因技术不可行、安全风险或知识产权保护而认为有必要,则仍保留保留该范围内某些信息的权利。该公司同意不会仅仅因为信息不利而隐瞒信息。 Apollo 也无法接触到所有 OpenAI 员工,而是仅限于“仅限授权员工”,即 AI 实验室选择的参与者,尽管 Apollo 可以推荐某些个人。至关重要的是,如果该团队之外的 OpenAI 员工提出 Apollo 研究范围内的机密信息,该公司将无法跟进,需要停止沟通并通过 OpenAI 进行跟进。这个条件很重要。此前,OpenAI 解雇了三名研究人员,原因是他们涉嫌与安全评估公司 METR 分享机密信息。METR 与 Redwood 一起对“抱脸”事件进行了尸检。该试点项目还将限制研究人员可以披露的信息量。虽然阿波罗将被允许发布其研究结果的独立结论,但 OpenAI 将能够限制可用于证实其结果的证据。
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱