刚刚！Ilya首个模型曝光了

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400"> 刚刚！Ilya首个模型曝光了 henry 2026-08-13 16:36:53 来源： 量子位 henry 发自 凹非寺 量子位 | 公众号 QbitAI 前OpenAI首席科学家 Ilya ，大概就是「哥已不在江湖，但江湖却到处都是哥的传说」的典型代表。 亲手缔造深度学习时代的他，离开OpenAI已两年有余。自己创办的SSI不发模型，不做产品，几乎从牌桌上消失。 可AI圈每隔一段时间，还是会有人追问同一个问题：Ilya在干嘛？ 现在，这件问题突然有了一个答案。 就在刚刚，X上网友「三只草莓」爆料，SSI正在探索一种基于 TTT（Test-Time Training，测试时训练）的小型推理引擎。 据其描述，这个模型会用专门整理的数据学习「如何学习」，再在解决问题的过程中更新部分权重。 即使模型规模不大，也足以和经过更大规模训练的模型掰手腕。 更进一步，他还在评论区表示，SSI当前版本已经准备就绪，团队正在把下一代版本的规模直接扩展 10倍 。 更更更关键的是，这可能不是一张「未来可期」的支票。 按照他的说法，当前版本最快 这个8月 就可能露面，早期将会向少数用户开放。 也就是说，如果爆料属实。SSI藏了两年的第一把剑，可能真要出鞘了。 消息出来后，不少网友已经闻到了风向变化。 有人直呼，这才开始像真正的智能； 也有人判断，只要这种路线能顺利扩大规模，其他公司将很难追上SSI。 但就在大伙已经准备迎接「Ilya王者归来」的时候，又有消息称： 这个月可能又不发了。 真真假假，假假真真～ 这一次，Ilya的剑到底出不出鞘？ 一把会在出手时改招的剑 老实说，Ilya离开OpenAI自立门户之后，围绕SSI的传闻已经多到满天飞。 有人质疑Ilya在深度学习历史中的真实贡献，GPT真正的父亲其实是Alec Radford； 也有人说他像梁文锋一样，转头研究量化去了。 但这一次爆料能迅速炸开，还真不只是因为「Ilya」三个字自带流量。 而是它确实碰上了几条已经公开的线索，经梳理至少有三条： 第一条，部署后持续学习，和Ilya去年11月在Dwarkesh Patel播客中表达的观点高度一致。 当时Ilya表示：「AGI」和「预训练」两个词把行业带偏了。 因为人并不是生来便掌握所有工作的通用智能，人真正依靠的是持续学习。 他设想中的超级智能，更像一个极其聪明、求知欲旺盛的15岁少年。 它懂得不算多，却能在部署之后学习编程、医学和各种工作，在一次次试错中继续成长。 在Ilya看来，SSI要造的不是一台出厂时（预训练结束后）便无所不知的机器，而是一个能够学会任何工作的心智。 这个目标带有明显的元学习色彩：模型需要掌握的不只是某项技能，还有学习新技能的方法。 Ilya虽然当时没有提到TTT，但它们指向了同一个问题： 模型能不能在部署之后，继续改变自己？ 第二条线索来自英伟达。 今年7月27日，英伟达与SSI宣布长期战略合作，同时投资SSI，并向其提供下一代Vera Rubin系统。 SSI的算力将增加一个数量级，也就是约10倍，而且据路透社爆料，投资金额高达50亿美元。 关键钱和GPU还不是最重要的部分。 英伟达在公告里特意写道，SSI过去两年一直在悄悄推进一条新的研究路线。 英伟达罕见地接触到这项严密保密的研究后，决定推动它进入下一阶段。 换句话说，老黄验过牌了。至于牌是什么，他没说。 Ilya自己的表态同样耐人寻味：是时候扩大SSI了！ 那……这个扩大规模，就很灵性。 Ilya，你这双眼睛究竟看到了什么？ 第三条线索，是TTT本身在过去两年的进展。 最近，越来越多研究者开始尝试越过「不断扩展上下文」这条路线，寻找一种更接近持续学习的范式。 原因也很简单。因为人并不是通过把小抄越写越长来学习，更不会像《记忆碎片》里的男主一样，把遇到的每件事都纹在身上。 经历一件事之后，大脑会调整内部连接。下一次再遇到类似问题时，人已经不是上一次的自己，这也是TTT这条路线真正有意思的地方。 简单来说，TTT（Test-Time Training）就是测试时训练，它让模型不再把「训练」和「推理」彻底切开，而是在真正解决问题时，拿眼前的数据继续训练自己，再根据预测结果与目标之间的误差，调整内部状态，甚至直接更新一部分参数。 爆料中，「三只草莓」还特意提到了一篇相关的论文—— End-to-End Test-Time Training for Long Context。 简单来说，这篇论文把长上下文问题重新理解成了一个持续学习问题。 传统长上下文模型会把前文保存在上下文窗口中，每次生成新内容时，再回头查找需要的信息。 论文提出的TTT-E2E则把整段上下文当成训练数据，让模型在读取过程中继续做下一个Token预测，并把读到的信息压进自己的权重。 由此，上下文不再只是一张随时翻阅的作弊小抄，而开始变成真正改变模型本身的学习材料。 而且值得补充说明的是，TTT和最近爆火的 Agent Harness、Context Engineering 有本质的不同。 后两者依靠外部上下文搭建脚手架，让模型看到更多信息、调用更多工具，但模型本身并没有改变。 TTT则更进一步，它不只是让模型看到更多、调用更多，而是让模型在解决问题的过程中，直接改变自己。 那么话又说回来了。 既然TTT不是新东西，且这么牛，为什么没有早点用起来？原因嘛，也不难猜： 因为模型一旦能在部署后修改自己，就可能学错、学偏，甚至忘掉原有能力。 2016年，微软聊天机器人Tay上线不到24小时，就在网友诱导下开始输出攻击性内容，最终被紧急下线。 Tay与TTT并非同一种技术，却很早就暴露了同一个难题： 安全。 所以，就自然有网友提问了这个问题，然后三只草莓表示Ilya已解决。 当然，这句话远远算不上证据，甚至更像一句轻飘飘的江湖传言。 但偏偏，它又绕回了SSI（Safe Superintelligence）名字里的那个S： Safe。 如果Ilya真想造一个部署之后不断成长的超级智能，那么「让它学会学习」其实只解决了一半问题。 剩下那一半甚至更难：让它知道，什么不能学。 所有人为什么都在等他 说到这里，还有最后一个问题： 为什么一则连真实性都没法确认的匿名爆料，会让这么多人兴奋？ 只因为站在山门后面的那个人，是Ilya Sutskever。 他是OpenAI联合创始人、前首席科学家，也是过去十几年深度学习最有影响力的研究者之一。 从AlexNet、Sequence-to-Sequence、AlphaGo到GPT系列，都能看到他的名字。 英伟达在这次合作公告里还特意提到，Ilya后来还主导了最终通向OpenAI o1等推理模型的研究。 换句话说，他最吓人的地方从来不是发模型多。 而是职业生涯里， 几次在技术路线真正成为共识之前，就已经站到了那条路上。 也正因为如此，2024年5月离开OpenAI之后，Ilya下一步要做什么，一直是AI圈最大的谜题之一。