OpenAI推理之父最新访谈！数学只是多智能体时代的开胃菜

程浅 发自 凹非寺 量子位 | 公众号QbitAI “Navier–Stokes千禧年难题的突破，10000个Agent最多占了10%的功劳。” 此判断出自OpenAI研究员，o1核心作者NoamBrown之口。 NoamBrown， 人称“OpenAI推理教父”。 在几乎所有人还在卷模型参数的2023年，他就已经开始押注test-time compute scaling（推理时计算） 。 一年后，o1-preview横空出世、震动行业。如今，TTS早已成为行业共识，成了人手一个的“深度思考”按钮。 △Dwarkesh Patel播客《OpenAI researcher on agent swarms & recursive self-improvement》 现在，NoamBrown又带来了他目前的研究方向—— 多智能体（multi-Agent）系统。 此前，OpenAI发动了10000个Agent，耗时88小时，输出1300亿token，拿下千禧年数学难题。 关于此事，NoamBrown在最新播客中从多智能体系统聊起，深入到了公司经营、RSI发展、超级对齐等领域…… 一个个问题也接连浮现： 当难题越来越少，模型强到一秒解题，将如何继续提升能力？ 如果把这批Agent投入到递归自我改进研发中，会发生什么？ 前沿模型如果一个长任务可以做三个月，而发布周期只有两个月，怎么办？ AI越来越会隐藏自己的思维链，人应该如何监测？ 当AGI已经超越人类智慧，在那时，我们如何知道对齐问题已经解决了？ …… 关于这些问题，对话全文如下。 多智能体系统如何拿下千禧年难题？ 主持人： 今天我们对话的是OpenAI研究员 Noam Brown 。他是o1及此后一系列推理模型的奠基性贡献者之一，目前的研究方向是多智能体系统。 你们上周宣布，一个由1万个不同AI Agent组成的系统，历时88小时、消耗1300亿token，解出了一道千禧年难题。 实际上大约两三年前，你就指出，只要把推理时的算力投入放大，就能预见几年之后模型的基础能力会到什么水平。 我觉得你现在又站到了类似的位置：Agent的规模已大幅扩展，你可以帮我们看清未来的能力会是什么模样。 Noam Brown： 我是这样想的，如果你用横轴取test-time compute（推理时计算量），纵轴取这些推理模型的基准成绩，就会看到一条极清晰的规律——模型思考答案的时间越长，表现越好。 人也一样，考SAT的话，如果只给五分钟做完整张卷子，成绩必然很糟糕；给五个小时，成绩就会好得多。 AI模型也差不多，它们会用这段时间来自言自语，理清问题、审视各种情形、排除种种可能，并在已有发现上继续推进。 但问题在于，你不可能干等三年才拿到一个答案。于是很多人开始搞 并行化 ，也就是组团队。 所以说，多智能体是把推理时的计算量由纯串行扩展改为并行扩展的方式。 它的效率会低一些，因为不像单个Agent那样独享全部上下文。但只要做得好，它仍是极为有效的手段。 主持人： 接下来我要问一堆外行问题了。这是个尚未发布的模型，外界还没见过这类系统实际如何运作。 我很困惑它们究竟有哪些性质、特点。 并且，能在这么短的时间里凝聚如此庞大的认知投入，令我很震惊。 1300亿token意味着什么？换成一个人以全职工作的方式持续地思考，要思考4000年，每天八小时。也就是说，一个人从古代苏美尔一路想到今天所需的时长，被压缩进了88小时里。 而且更让我意外的是，并行化似乎并未带来很多损耗——你们居然能让1万个Agent协作！也许Agent比人更擅长协作，因而快得多，能在如此规模上真正产出成果。 Noam Brown： 那就先谈并行化损耗，再谈性质问题。实际上关于把多智能体扩展到这种规模，我们还没有比较扎实的科学认识。 发布5.6时是我们第一次在模型中拥有真正成形的多智能体系统。博客里确实给出了多智能体扩展性能的若干曲线，因为我们把它做成了可选项，即Ultra Mode：默认四个Agent，但可以调得更高。 四个Agent一起解题，速度会快一倍：四个Agent各干一半时长，等于你多付两倍成本，换来快一倍的答案。推到16个Agent，规律类似，效率略低，性能却仍在继续提升。 主持人： 随着并行Agent数量增加，串行耗时的缩短是线性的，还是亚线性的？ Noam Brown： 略微呈现亚线性，但很大程度上取决于问题本身。比如数学就相当适合并行，而网页搜索以及需要翻阅大量信源的Deep Research报告这类工作，则极其适合并行。 我猜写小说就很难并行：让1万个Agent合写一部长篇，收益大概率不大，就像让1万个人合写一部长篇小说一样。 所以这个表现确实取决于领域。我们的测试最多只能做到16个Agent，如果要把这套研究推到1万个Agent的规模上，那就太贵了。 主持人： 可你们刚刚只用了一个周末就做到了。 Noam Brown： 那也只是一次实验结果而已，我们并不知道单个Agent解出纳维–斯托克斯问题需要多久，因为这个实验还没做。也许以后会做，可那也仍然只是一次的实验结果。 如果要做完整的消融实验（ablation），那种规模下的开销根本承受不起。 所以我们只能做循序渐进的研究，看扩展到64、128、256个Agent时会发生什么，然后摸清行为规律。 但要一路推到1万个，并确切知道1万个Agent相较1000个究竟带来多少收益，就很难了。 而且有一点我得讲清楚：解出千禧年大奖难题，靠的不是多智能体。我甚至不会把其中10%的功劳记在多智能体头上。 归根结底我们能做成这件事，是因为手上有一个通用且极强的模型。多智能体这类东西新奇、抢眼，因此可能获得了与其贡献不成比例的好评。 核心原因还是：模型本身足够强大。 主持人： 这种泛化能力让我很震惊。我不知道这些系统是怎么训练的，但想必仍是常规的RL（强化学习）套路，准备一大批答案可验证的合成题目。 我猜在训练过程中，模型从未解过像千禧年大奖难题这么有野心的题。可它的泛化足够强，能从这些容易得多、又可验证的题目，一路迁移到在一道极难问题上投入如此大规模的并行思考。 Noam Brown： 是这样的。这里有个有意思的难题：模型越聪明，我们能问的许多问题就越显得简单，很难真正考住它。我觉得这个很重要。若要论证 为什么LLM这类AI不太会重走AlphaGo、AlphaZero等博弈AI的老路 ，这可能是条理由。 在AlphaZero这类系统里，自我对弈（self-play）提供了无限多的训练课程：你面对的永远是旗鼓相当的AI。 而用强化学习训练LLM，至少以目前公开的做法，给模型一道题让它解。这个时候如果题目简单到一秒就能解出，它其实什么也学不到。 但是一旦能考住模型的难题被用尽，进展就艰难多了。不过我确实认为有绕开的办法，我们还没真正撞上这堵墙；即便哪天它成了一个很严重的问题，我相信也有出路。但它确实可能发生。 主持人： 替听众解释一下，你提到AlphaGo或AlphaZero，指的是它们在达到人类水平之后，很快就跨入了超人水平。 Noam Brown： 是啊，一年之内，它们从战胜欧洲冠军（大致世界第50的水平）到战胜世界冠军，再到超出任何在世人类若干个数量级，