ChatGPT共同创造者Liam Fedus：数学之后，AI该去实验室了

编辑｜Panda 前两天，OpenAI 在 GitHub 上 一次性放出了 722 篇数学手稿 （后面 撤回了几篇 ），覆盖数论、几何、理论计算机科学、数学物理等 17 个领域，其中一部分附带了可由计算机机械检查的 Lean 形式化证明。据 OpenAI 介绍，它们全部出自一个尚未发布的内部前沿模型，平均每个结果消耗的算力大约相当于 ChatGPT Pro 思考模式运行三个小时。 这并不是 OpenAI 在数学上的第一次大动作。一个月前的 9 月 8 日，它就宣布内部模型调度上万个智能体、历时约 88 小时，给出了与 Navier-Stokes 千禧年难题相关的爆破证明，随即陷入署名与优先权之争。722 篇手稿发布后， 质疑同样接踵而至 。 争议之外，有一个事实很少被提及：数学之所以能成为 AI 攻城略地最快的科学领域，很大程度上是因为它自带裁判，即一份 Le a n 证 明 对不对，编译器说了算。 可一旦问题从纸面转向物质世界，比如某种新材料能否在液氮温区实现超导、某种合金在高温下会不会开裂，就没有任何形式化系统能替代一次真实的实验。 这正是 Liam Fed us 在最新一期播客 The Frontier 中强调的观点。这位 ChatGPT 的共同创造者、OpenAI 前副总裁、后训练负责人，如今在门洛帕克搭建实体实验室，试图为 AI 科学家补上互联网给不了的那块数据。 在与主持人、Mercor 创始人 Brendan Foody 长达 50 分钟的对谈中，他回顾了 ChatGPT 诞生前后的内部细节，解释了 ChatGPT 和 AI 编程为何率先突破，也讲清了 Periodic Labs 为什么非建实验室不可。 https://x.com/BrendanFoody/status/2108663727197462818 从缅因乡下到 ChatGPT：一位物理学家的绕路 Fedus 在缅因州的乡村长大。他回忆，学校有一项名为「新闻里的科学」的作业，要求学生撰写本地的科学新闻，可乡下报纸上实在没有多少技术进展可写，他只好上网找素材，结果被一个物理网站深深吸引。上大学时，他曾在物理、化学和经济学之间摇摆，最终选定了 物理 ，因为它「 足够基础 」。 在 MIT 读物理期间，他参与了一个名为 DMTPC 的暗物质探测项目。按照其中一种理论，暗物质信号会随时间呈现方向上的变化，团队希望据此造出灵敏度更高的探测器。 也正是在这里，他第一次撞上了 机器学习 问题：要从探测器的原始数据中反推粒子的方向和能量，本质上就是一个机器学习任务。此后他短暂进入金融业，又在加州大学圣地亚哥分校攻读粒子物理，参与 CERN 的粒子径迹重建，同样的问题再次出现。「我意识到，要推动机器学习的前沿，就必须待在那些前沿机构里。」 转折发生在 生成对抗网络（GAN） 大热的年代。Fedus 尝试把 GAN 用于语言生成，却发现这是双重难题：GAN 本身训练不稳定、容易模式崩溃，而生成器输出的是离散 token，判别器的梯度无法直接回传，于是「你同时拥有了 GAN 的所有问题和强化学习的所有问题」。 他为此给时任 Google 研究员的 Ian Goodfellow 写了一封邮件，对方的回信让他下定决心加入这批人。 2016 年，他以实习生身份加入 Google Accelerated Sciences 团队，用卷积网络研究酵母细胞的复制与分裂，之后进入 Google Brain，并在 Mila 跟随 Yoshua Bengio 与 Hugo Larochelle 完成计算机科学博士学位。 在 Google Brain，Fedus 与 Barret Zoph、Noam Shazeer 合作提出了 Switch Transformer ，将 混合专家（MoE） 架构推到了万亿参数规模，这一工作后来成为开源 MoE 模型的重要参照。 2022 年他加入 OpenAI，参与创造了 ChatGPT ，2024 年 10 月接替 Barret Zoph 执掌后训练团队 ，2025 年 3 月 离职创业 。 他创立的 Periodic Labs ，另一位联合创始人是 Ekin Dogus Cubuk。两人在 Google Brain 相识近十年，Cubuk 后来在 DeepMind 领导化学与材料团队，是 GNoME 论文的作者之一，该项目在 2023 年预测出了大量新的稳定晶体结构。2025 年，Periodic Labs 以 3 亿美元种子轮走出隐身状态，投资方包括 a16z、DST、英伟达旗下 NVentures、Accel，以及 Jeff Bezos、Eric Schmidt、Jeff Dean 等个人投资者。 今年 9 月中旬，Periodic 发布了首个模型 Periodic Neon ，这是一个约 1 万亿参数、在自家实验室数据上后训练的模型，用于解读 X 射线衍射图谱；公司称其在自建基准上超过了 GPT-6 Astra，但这一结果目前仅为公司自报。 ChatGPT 差点做成会议机器人 Fedus 加入 OpenAI 的第一天，Greg Brockman 就让新人们见识了刚刚训练完成的 GPT-4。「它比我见过的任何系统都领先大约一年半。」但他也坦言，GPT-4 仍然会犯其他语言模型常犯的错：会幻觉，不会做数学题。它显然是一次巨大的跃进，却没人知道该如何把它变成对世界有价值的东西。 距离 GPT-4 计划中的发布还有大约半年，团队讨论过多种产品形态，包括写作机器人、编程机器人，还有一些人格外钟爱的会议机器人，坐在会议软件里帮你记笔记、发待办事项。主持人笑称，如果当时真做了会议机器人，世界会很不一样。最终是 John Schulman 拍了板，他坚持应保持通用性，做一个聊天机器人。 有意思的是，内部的早期信号并不乐观。Fedus 估计，拿到 GPT-4 内测权限的亲友中，大约 90% 并不怎么在意。作为一名以架构研究为主业的研究员，他当时把这视作负面信号。「但回头看，这里面其实藏着非常积极的信号：有 5% 到 10% 的人非常喜欢它，每天都在用。每次我们推送更新，他们都会抱怨『我更喜欢上一版模型』。」 更让人意外的是，引爆全球的 ChatGPT 用的甚至不是 GPT-4，而是早已以 API 形式开放了好几个月的 GPT-3.5。真正的变量是产品形态： 从「补全」接口变成了「对话」接口 。 Fedus 举了个例子：在补全模式下，想让模型写一首某种风格的诗，你得先编一段「新近发现了某位著名作家的佚诗，开头如下：」，而在对话模式下，直接说「请帮我写一首这种风格的诗」就行。「这是件小事，但它非常自然。」除此之外，就是围绕 监督微调 和 RLHF 做大量枯燥的细节工作，「一切最终都回到数据上，我们一直在盯着数据看」。 内部投票预测 ChatGPT 的用户数时，大家猜的是 1 万、5 万，最大胆的人猜了 100 万。「我们原本只是想做一个低调的研究预览，发一篇博客，也许有 1 万名研究者试一试。」结果是一片混乱，「所有仪表盘都是红的」。2023 年夏天，使用量出现下滑，团队一度陷入「生存危机」，担心 ChatGPT 的热度就此终结，后来