首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 汽车 游戏 社会热点 开源推荐 医疗健康 归档 标签 关于
智能AI morning

1位菲尔兹奖得主+12位博士,这些俄罗斯数学家训出了顶级AI

摘要

机器之心编辑部 最近,在 ARC Prize 2026 的 Kaggle ARC-AGI-3 竞赛排行榜上,杀出了一匹黑马 —— 一个名叫「Mostik」的俄罗斯初创。 ARC-AGI-3 被认为是目前最接近「测试 AI 真正智能」的一类挑战。它不像传统 benchmark 那样给模型一道道题,而是把 AI Agent 丢进一个完全陌生的二维交互世界:没有说明书,没有规则提示,Agent 只能靠不...

Mostik ARC AGI Kaggle Agent GLM Qwen 真正输出时 2MB 机器之心编辑部
2026-09-07 1 阅读 约10分钟阅读 机器之心
分享:
字号:
机器之心编辑部 最近,在 ARC Prize 2026 的 Kaggle ARC-AGI-3 竞赛排行榜上,杀出了一匹黑马 —— 一个名叫「Mostik」的俄罗斯初创。 ARC-AGI-3 被认为是目前最接近「测试 AI 真正智能」的一类挑战。它不像传统 benchmark 那样给模型一道道题,而是把 AI Agent 丢进一个完全陌生的二维交互世界:没有说明书,没有规则提示,Agent 只能靠不断尝试,摸索环境规律,建立自己的世界模型,最终找到通关方法。 「Mostik」这支团队此前几乎没什么名气,如今做出来的模型却一度冲到了 Kaggle ARC-AGI-3 排行榜第一(当前第二)。更离谱的是,他们只用了四个月,团队里有 12 位博士和一位菲尔兹奖得主。 Mostik 究竟怎么做到的?他们暂时不肯透露参赛系统的细节,理由很简单:比赛还在进行,他们想赢。 团队公开了另一项更有意思的实验。他们让两个 AI 模型跳过文字,直接交换内部的数学信息,像是给机器装上了一套「心电感应」。 实验的一端是 GLM-5.2,参数量达到 7530 亿;另一端是只有 40 亿参数的 Qwen-3.5,可以在移动设备上运行。Mostik 在两个模型之间搭了一座「桥」,让大模型读取问题、完成思考,再把内部状态交给小模型,由小模型生成最终答案。 整个过程中,大模型不用把推理过程写成文字,小模型也不用重新阅读和理解一大段提示。两个来自不同公司的模型,就这样在更底层的数学空间里接上了。 结果相当醒目。这套混合系统的运行成本只有完整 GLM 模型的二十分之一,表现刚好落在两个模型之间,相当于小模型补上了与大模型之间一半的能力差距。 Mostik 的名字也来自这里。在俄语中,它的意思是「小桥」。 为什么这套系统有效?Mostik 在最近的官方博客中给出了一些解释。 AI 以前的合作方式,损失太大了 让多个 AI 一起工作早就不算新鲜。现在常见的多智能体系统,通常由一个模型先输出答案,另一个模型读完后继续处理,像几位同事通过邮件传递工作。 问题出在这封「邮件」上。模型内部可能已经进行了大量计算,真正输出时,只能把其中一小部分压缩成文字,许多信息也随之丢失。 Mostik 在官方博客里算了一笔很有意思的账。 一个语言模型为了生成一个 token—— 可以粗略理解成一个词或词片段 —— 内部会形成一百多个隐藏向量,涉及大约一百万个数值。这些数值记录着模型此刻对问题的理解、正在考虑的概念,以及它准备如何组织后面的内容,总量接近 2MB。 真正输出时,模型只能从大约 15 万个候选词中选出一个。换算下来,离开模型的有效信息只有 17 比特,之前形成的 2MB 内部状态随即被丢掉。 Mostik 给了一个很形象的说法:一个在上千维空间里思考的系统,最后只能通过钥匙孔和另一个系统说话。官方博客认为,今天的编程智能体、模型委员会和各种多智能体系统,基本都卡在这个「钥匙孔」上。 到底损失了什么? 人们过去常把隐藏状态理解为一种临时脚手架:模型内部算完了,最后吐出来的词才是成品。近两年的可解释性研究显示,这个理解有些低估了模型内部发生的事情。 Mostik 在博客里提到一个关于英语冠词的实验。模型要在「a」和「an」之间做选择,必须提前知道后面准备写什么名词;研究人员发现,Qwen-3 在真正输出「accountant」之前的几个位置,内部已经出现了对这个词的表征。 模型体量越大,这种提前形成但没有写出来的信息越丰富。换句话说,大模型在落笔之前,已经悄悄准备了一部分后文。 Anthropic 的研究人员也观察到类似现象。Claude 3.5 Haiku 写诗时,会先在内部确定一句话末尾的押韵词,再朝着那个词把前面的句子写出来。 另一项研究还发现,模型内部会短暂保留一小组尚未说出口的概念。研究人员可以要求模型「记住」其中一个概念,即使它接下来生成的文字完全没有提到,这个概念仍可能继续存在于内部状态里。 这些发现指向同一件事:模型写出来的内容,只覆盖了它内部计算的一小部分。当一个 AI 把文字交给另一个 AI 时,真正损失的是形成答案的过程。 Mostik 搭了一座「桥」 Mostik 的方法并没有复杂到无法描述。一个模型完成初步计算后,把自己的隐藏状态交给一座经过训练的「桥」;这座桥进行转换,再把结果送进另一个模型。 难点在于,两个模型的内部世界并不通用。它们由不同团队开发,训练数据、参数规模和架构都有差异,同一个概念在各自的数学空间里可能长得完全不同。 Mostik 首席科学家 Stanislav Smirnov 是日内瓦大学教授,也是 2010 年菲尔兹奖得主。他坦言,人们至今没有找到一套合适的数学语言,能够统一描述不同模型的内部表达。在此过渡阶段,Mostik 的切实填补了这一 gap。 Mostik 团队最先研究的,正是这些内部空间的几何结构。他们发现,模型能力变强,并不会自动让彼此的内部表达更接近;不过,不同模型之间确实存在一部分可以预测的共同结构,只要找到对应关系,就有机会完成翻译。 这座桥是系统中唯一需要训练的部分。两边的模型都保持冻结,原有权重不用修改,也不需要为了配合对方再做一轮微调。 这个设计很关键。它意味着 Mostik 无需拆开两座已经建好的房子,只需要在中间铺一条通道;以后更换其中一个模型,理论上也只需重新解决这段映射关系。 「桥」的效果如何? Mostik 公开的实验连接了两个中国开源权重模型。一边是拥有 7530 亿参数的 GLM-5.2,另一边是只有 40 亿参数、可以在移动设备上运行的 Qwen-3.5。 两个模型的分工很特别。GLM 负责读取问题,在内部完成一轮计算,然后直接停下来;它不生成答案,隐藏状态通过桥传给 Qwen,逐字写出答案的工作全部由小模型完成。 这样安排,是因为模型「读」和「写」的成本并不对称。读取一段提示词可以进行大量并行计算,生成答案却要一个 token 接一个 token 往外吐,后者往往更慢,也更烧钱。 大模型在这套系统里像一位收费昂贵的专家。它看完材料后,把判断直接交给助手,不再花时间写一份完整报告;真正耗时的文字工作,由运行成本更低的小模型处理。 根据 Mostik 公布的数据,接上桥之后,Qwen 补上了自己与 GLM 之间 50% 的性能差距,整体准确率提升约 25%。在两者能力差距更明显的高难度任务中,小模型的成绩最高达到原来的两倍。 还可以换一个角度理解这组数据。假设存在一个中型模型,成绩正好和这套混合系统相当,运行 Mostik 组合所需的计算量只有它的约四成,也就是节省了 60%。 这组数字和「成本只有完整 GLM 的二十分之一」并不冲突。二十分之一比较的是让 7530 亿参数的 GLM 独立完成整个任务;2.5 倍的算力优势,比较的是一个成绩相当的中型模型。 目前这些实验结果主要来自 Mostik 自己的技术披露。详细训练方法、测试集构成和复现实验尚未完整公开,ARC-AGI 3 参赛系统的细节也处于保密状态,因此它的通用性还需要更多外部验证。 交接越早,这座桥越有优势 Mostik 还把这种「隐藏状态交接」和传统的文字交接放在一起测试。两种方法都让大模型先处理一
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱