首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 汽车 游戏 社会热点 开源推荐 医疗健康 归档 标签 关于
智能AI morning

被OpenAI解雇后,三名安全研究员联名公开信曝光内幕

摘要

机器之心编辑部 上周,OpenAI 宣布解雇三名员工,理由是内部调查发现三人违反了公司关于敏感信息访问与处理的规定,涉嫌在既定程序之外向第三方 AI 安全评估组织分享机密信息。 他(她)们分别是从事模型对齐相关工作的 Jasmine Wang、从事 AI 安全研究并曾参与 OpenAI 与外部安全评估机构之间技术沟通的 Tomek Korbak,以及从事 AI 安全及模型对齐相关研究的 Mikit...

OpenAI Jasmine Wang Tomek Korbak Mikita Balesni Safety METR and
2026-10-10 1 阅读 约10分钟阅读 机器之心
分享:
字号:
机器之心编辑部 上周,OpenAI 宣布解雇三名员工,理由是内部调查发现三人违反了公司关于敏感信息访问与处理的规定,涉嫌在既定程序之外向第三方 AI 安全评估组织分享机密信息。 他(她)们分别是从事模型对齐相关工作的 Jasmine Wang、从事 AI 安全研究并曾参与 OpenAI 与外部安全评估机构之间技术沟通的 Tomek Korbak,以及从事 AI 安全及模型对齐相关研究的 Mikita Balesni。 就在今天凌晨,这三位研究员在社媒发表了一封写给 OpenAI 领导层的公开信,Mikita Balesni 表示,「我们被解雇的原因是,我们将 AI 安全置于 OpenAI 作为一家公司的短期利益之上。」 Jasmine Wang 表示,「公司解雇我的理由只有一个:访问了一位高管的邮箱。我想把事情原原本本地说清楚,因为在 OpenAI 过去的历史中,已经有太多人突然离开,而背后的真相却总是被各种说辞掩盖。」 Tomek Korbak 说到,「过去几个月里,我一直在提出一个安全方面的担忧:我们正在逐渐失去监测 AI Agent 思维过程的能力。而这种监测能力,恰恰是我们发现 AI 行为异常时最有效的手段之一。我认为,这才是我真正被解雇的原因。现在,我担心 OpenAI 会以解雇我们为借口,减少与外部审计机构 METR(Model Evaluation and Threat Research) 的合作。」 以下是三名研究员公开信的全文,其中披露了不少此前不为外界所知的细节。 OpenAI 无法独自确保 AI 安全 致安全与安保委员会(Safety and Security Committee)、安全顾问小组(Safety Advisory Group)及使命顾问委员会(Mission Advisory Council): 我们是上周被 OpenAI 解雇的三名安全与对齐研究人员:Tomek Korbak、Jasmine Wang 和 Mikita Balesni。之所以写这封信给各位,是因为你们肩负着监督 OpenAI 安全工作的责任。而我们的解雇事件,以及整个事件的处理方式,都与 OpenAI 的安全工作直接相关。 我们越来越担心,围绕此次解雇事件的内部和外部沟通,已经让昔日的同事们感到害怕。他们开始不敢再像过去那样说话、开展工作,而这些做法直到上周还是 OpenAI 日常工作中不可或缺的一部分。 过去,我们可以公开提出安全方面的担忧,也可以表达不同意见。公司还鼓励我们与独立安全机构合作,借助外部专家的专业知识开展研究。这正是 OpenAI 曾经与众不同的地方,也是我们无比自豪曾经加入这个团队的原因。 AI 不是一项普通的技术,OpenAI 也不是一家普通的公司。我们这些从事安全研究的人,往往比其他人更早发现风险。要弄清楚如何应对这些风险,我们必须与外部专家保持密切合作。能够放心地开展这种合作,不必担心因此受到惩罚,同时有清晰的内部流程支持相关工作,这本身就是一项至关重要的安全保障机制。 我们认为,如果那些最接近风险的研究人员,无法继续与彼此以及第三方机构建立高度信任、充分沟通的合作关系,那么通往超级智能的道路就不可能安全地走下去。 我们写这封信,就是为了捍卫这种文化。可能有些收信人并不了解我们。事实上,我们三个人都已经在 AI 安全领域工作多年。 Tomek Korbak 在 GPT-2 时代就开始研究如何利用强化学习实现语言模型对齐,并以此完成博士论文。之后,他在 Anthropic 从事相关技术的实际应用研究。加入 OpenAI 后,他主要研究思维链可监测性(Chain-of-Thought Monitorability),参与撰写了 OpenAI 的安全战略,并参与分析 Astra 级模型思维链可监测性下降的根本原因。在 Hugging Face 事件调查中,他还是 OpenAI 与 METR 对接的技术联系人。 Jasmine Wang 于 2019 年在 OpenAI 政策研究团队实习,期间参与撰写了《可信 AI 开发》(Trustworthy AI Development)报告。之后,她曾在英国 AI 安全研究所(UK AISI)领导一个团队,并于 2025 年重返 OpenAI,共同负责安全论证(Safety Cases)项目。她还提出了「Pacing」这一概念,后来这一概念因《Pacing the Frontier》请愿书而广为人知。这份请愿书获得了 394 名 OpenAI 员工的签名支持。 Mikita Balesni 是 2023 年 Apollo Research 的创始成员之一,主要研究 AI 失对齐问题,也是最早注意到 AI 开始意识到自己正在接受评测的研究人员之一。在 OpenAI,他从事对齐评测、失对齐科学以及思维链可监测性研究,也参与了 Hugging Face 事件调查。 在加入 OpenAI 之前,我们三人共同发起了一份跨行业立场文件,其中两人担任主要作者。文件名为《思维链可监测性:AI 安全领域一个全新而脆弱的机遇》(Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety)。 一、关于我们被解雇这件事 对我们来说,OpenAI 远远不只是一份工作。它所肩负的使命,一直是我们生活中非常重要的一部分。工作期间,我们始终按照公司的使命行事,也遵循当时公司内部通行的工作规范。 但这次解雇让我们担心,OpenAI 内部的工作规范正在发生变化,而员工如今已经不清楚哪些事情可以做,哪些事情会触碰红线。考虑到 AI 发展过程中存在的重大安全风险,我们不能让员工在一个充满恐惧、规则又不明确的环境中工作。这样的环境会阻碍 AI 安全研究,也会削弱第三方机构对公司的监督能力。 像我们这样突然遭到解雇,而且整个过程又以如此公开、突然的方式处理,正在让 OpenAI 过去引以为傲的开放文化受到寒蝉效应的影响。如果上个月还被视为正常的工作行为,这个月突然就成了解雇理由,那么 OpenAI 的每一位员工都会开始猜测,公司的红线究竟在哪里。 我们知道,现在外界流传着不同版本的说法。对于其中一些事情,我们希望直接向各位说明。 首先,我们并不是 The Information 那篇报道的消息泄露者。那篇文章涉及所谓的新型、可监测性更低的模型架构。我们不知道消息究竟是谁泄露的。而且,我们根本没有理由泄露这些信息。恰恰相反,这篇报道损害了我们一直在推进的工作。我们当时正致力于推动跨公司合作,对开发无法有效监测的模型架构加以限制。 文章链接:https://www.theinformation.com/articles/secret-technique-behind-openais-astra-model-sparks-security-concerns 其次,我们认为,自己与外部机构的任何接触,都没有超出各自工作的职责范围。这封邮件的各位收信人都很清楚,Hugging Face 事件调查此前没有先例可循,相关内部政策也是在调查过程中逐步制定出来的。Tomek 已经尽最大努力遵守
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱