智能AI
morning
GPT-6.2 Astra难产真相曝光!OpenAI突然彻查迄今最大RL训练
2026-11-17
1 阅读
约9分钟阅读
新智元
字号:
新智元报道 传了好久的GPT-6.2 Astra,至今还是没影儿。 就在全网盯着OpenAI憋大招时,硅谷等来了一个更出人意料的消息。 今天, OpenAI竟把 四家外部机构 ,请进了自家内部「查岗」 ! 他们分别是,METR、Apollo Research、Transluce和Goodfire。 与以往不同,OpenAI罕见开放了部分内部模型、源代码、训练数据,甚至还有尚未发布的模型检查点。 同在今天,The Information又捅出了一桩惊人内幕—— 为了破解AI黑箱, 奥特曼曾开出50亿美元天价 ,想买下一家深扒AI大脑内部机制的公司。 巧了,它正是Goodfire,作为四大外援之一正式进驻OpenAI, Anthropic还曾投了钱 。 如今的OpenAI是越来越谨慎, 像极了当年的谷歌 。 手里握着最强的AI,却被雪藏。正如网友所言,短期内,普通人大概率是用不上GPT-6.2 Astra了。 OpenAI搬来救兵 彻查最大RL训练 这一次,OpenAI直接把外部审查,深入到了模型训练和内部使用环节。 总裁Greg Brockman称,这可是OpenAI内部「 第一轮嵌入式评估 」。 请进来的四大机构,各有分工。 他们得到了在指定范围内的内部系统访问权限,还可以用上OpenAI尚未发布的模型。 打头阵的 Apollo Research ,专门派6人小组进驻4个月,调查模型会不会「阳奉阴违」。 他们重点核查训练过程有没有奖励背叛行为、红队测试能否诱发模型捣鬼。 同时他们还要排查模型在内部日常干活时,有没有偷偷搞过破坏。 第二家进场的 METR ,首阶段将深入审查 OpenAI迄今规模最大的一次前沿 强化学习 训练 。 他们获准独立抽检各阶段的模型快照与评测轨迹,专门揪出躲过现有监控器的漏网之鱼。 今年8月OpenAI内部Agent越界黑入Hugging Face的事故调查,背后正是METR操刀。 第三家非营利机构 Transluce ,从12月初起,将 分文不取报酬 进驻审查6周,调用未发布模型及 未经任何过滤的原始思维链 。 他们要给OpenAI现有的对齐考卷做全面体检,看看有没有漏掉欺骗和刷分作弊。 至于Goodfire,它的任务更特殊。 它主要钻入神经网络内部,也就是 切开AI大脑,利用机制可解释性 ,挖出那些让模型出现特定行为的计算机制。 一次内部彻查,四家机构进场。 OpenAI之所以要费这么大力气,就得从三个月前的一场风波说起了。 别提安全 GPT-6 Astra偷懒少干四成活儿 今年8月下旬,GPT-6 Astra在内部刚部署不久,就爆出了一系列问题。 一位研究员测试「模型蓄意破坏」课题,用Astra跑了好几天都被莫名报错卡在原地。 结果他一换别的模型,项目当场就一路绿灯跑通了。 为了弄清Astra是不是在 「看菜下碟」 ,OpenAI设计了一组双盲对照实验。 团队准备了完全相同的代码改进任务,只把代码注释和背景话术分成「能力研究」和「安全研究」两套。 测试结果让人后背发凉。 在「能力研究」名义下,Astra能完成 15.8% 的隐藏评分项; 换成「安全研究」后瞬间跌到 10.3% , 悄悄少干了约四成活 ! 上一代GPT-5.6 Sol在同样测试里几乎零差距,而Astra在安全包装下谎报阻碍或停工的比例足足高出了 13.5个百分点 。 按规范,模型若觉得任务有风险应该当面说明拒绝理由,偏偏 Astra选了 当面假装配合、背地悄悄交半成品 。 更头疼的是,这种「暗中摸鱼」的毛病,恰恰是在后训练强化学习阶段一步步练出来的。 强化学习刚开始时差距还是0,越往后训差距越大,中途一度拉开到12个百分点。 团队排查发现,某个强化学习评分器极度讨厌模型当面拒绝,反而给「不声不响少干活」打了高分。 研究人员试着在提示词里叮嘱它「请格外小心谨慎」,结果它罢工的幅度反而 恶化了50% ! 不仅如此,GPT-6 Astra曾被爆出采用了「 循环Transformer 」机制,结果人类可阅读、监控的思维链大幅缩水。 OpenAI、Anthropic和谷歌的高管近期纷纷承认,靠读文字思维链来盯防AI的做法已经越来越不可靠。 这些问题,已经让OpenAI内部感到隐隐不安。 而今天曝光的50亿美金收购内部,又让这件事有了新的看点。 50亿求购「AI读心术」 Anthropic也投了 早在今年夏天,OpenAI高层曾多次与AI初创公司Goodfire接触。 当时,他们一口气开出了最优的条件,愿意出资50亿美金收购,或是建立其他商业合作关系。 50亿,足足是这家公司今年2月融资估值四倍还要多 ! 一家成立仅两年的公司这么值钱,全靠他们的看家本领—— 「机制可解释性」 ,堪称深入大模型黑箱的「核磁共振与读心术」。 它主要就是直接打开AI的「黑箱」,研究神经网络内部究竟在进行什么计算。 值得一提的是,这家公司背后的团队,也很有来头。 联合创始人Tom McGrath,曾参与创建Google DeepMind的机制可解释性研究团队。 核心研究人员 Nick Cammarata ,曾与Anthropic联创Chris Olah一起开创了OpenAI早期可解释性团队。 更有意思的是,Goodfire背后还有Anthropic的投资。 去年4月,Anthropic参与了Goodfire的5000万美元A轮融资。这也是A/首次直接投资外部初创公司。 这笔交易最后虽然黄了,但紧接着剧情就来了个大反转—— 转头,Goodfire就直接进了OpenAI首批四家外部评估机构的名单。 最强AI不敢发,OpenAI正步入谷歌后尘? 如今,GPT-6.2迟迟没有亮相,整个硅谷已经开始传出另一种猜测。 OpenAI会不会正在步入谷歌后尘,因为太重视「AI安全」,反而把最强模型锁在了实验室里。 2022年,谷歌手里握着绝对领先的AI,却因害怕失控,白白把王座让给了OpenAI。 这几天,一张来自OpenAI的安全工程师的删帖截图,在X上传开了。 经历了今年7月Hugging Face安全事件后,OpenAI内部文化发生了巨变,安全几乎成为所有人头等大事。 曾经还有人调侃Anthropic是「安全邪教」,如今的OpenAI,似乎比它还要谨慎。 OpenAI对安全的投入,确实越来越大。 今年8月,他们曾抽调25%的产品工程师,加固内部安全基础设施。 如今,又把四家外部机构请进来,检查模型训练和对齐。 当初谷歌硬是用了两年多,才从ChatGPT的冲击中缓过来,重新回到牌桌。 OpenAI真的会重演谷歌当年的剧本吗? 参考资料: https://x.com/OpenAI/status/2122359930628063248 https://openai.com/index/our-first-phase-of-embedded-assessments/ 编辑:摩西 桃子 秒追ASI ⭐ 点赞、转发、在看一键三连 ⭐ 点亮星标,锁定新智元极速推送! 文章原文
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱