智能AI
morning
Claude自写推理引擎!等AI回第一个字,12秒砍到半秒
摘要
新智元报道 你让AI帮忙修一个登录报错。 照着它的建议改完代码,你重新跑了一遍登录测试。终端又弹出一行红字,报的还是同一个错。 你把新日志贴进对话框,再按下回车,等AI告诉你下一步查哪儿。 修一个bug,往往要这样来回折腾几轮。 每次提交问题后,你要等多久,才能看到AI回的第一个字? 最近,有人拿真实编程会话做了个测试,Claude直接把这段干等的时间从约12秒缩短到了半秒。 11月12日,卡内基...
Agents
新智元报道
你让AI帮忙修一个登录报错
照着它的建议改完代码
你重新跑了一遍登录测试
终端又弹出一行红字
报的还是同一个错
你把新日志贴进对话框
再按下回车
等AI告诉你下一步查哪儿
2026-11-20
1 阅读
约10分钟阅读
新智元
字号:
新智元报道 你让AI帮忙修一个登录报错。 照着它的建议改完代码,你重新跑了一遍登录测试。终端又弹出一行红字,报的还是同一个错。 你把新日志贴进对话框,再按下回车,等AI告诉你下一步查哪儿。 修一个bug,往往要这样来回折腾几轮。 每次提交问题后,你要等多久,才能看到AI回的第一个字? 最近,有人拿真实编程会话做了个测试,Claude直接把这段干等的时间从约12秒缩短到了半秒。 11月12日,卡内基梅隆大学、NVIDIA等机构的研究者提交了《奇点基准测试:智能体能构建智能体吗?》《Singularity-Bench: Can Agents Build Agents?》预印本。 其中一道题,研究者给了Claude Opus 5.5一份基础服务器代码、4张GB300显卡和12小时。 做题时,开发环境限制了上网查资料。Claude要用Claude Code写一套推理引擎,负责接收用户请求、调度显卡运行模型,再把生成的回复发回去。 引擎写完后,研究者没有只看代码,而是直接用真实编程会话检验它的表现。 他们让两套引擎分别用4张GB300运行同一个模型,回放同一批16路并发的真实编程会话。 衡量的指标叫 P90首token延迟 : 把所有请求从发出到模型开始回复的等待时间排个序,排在第90百分位的时间,就是P90。换句话说,90%的请求都能在这个时间内开始回复。 结果,成熟引擎SGLang(v0.5.20)用了约12秒,Claude写的引擎只用了0.48秒。 相同硬件和模型条件下,Claude自研推理引擎的P90首token延迟为0.478秒,SGLang为12.029秒。 等12秒,你可能已经切回编辑器,顺着报错翻了几行代码。半秒呢?你刚敲完回车,对话框里就能看到AI回复的第一个字。 一旦开始回复,两套引擎的生成速度几乎一样:按中位数算,Claude写的引擎每秒生成124.2个token,SGLang是125.0个。 那AI开口前的这11秒半,Claude到底是怎么省下来的? 只改一句话 服务器还要读多少 假设你正用AI改网页。 前面贴过源码和报错,也试过好几版方案。这一轮,你只补了一句「把登录按钮往右挪一点」。 在论文回放的编程会话里,前几轮的聊天记录也会一起送到服务器。16路会话同时跑,单次输入的中位数是 8.9万个token 。 模型得先处理输入,才能开始回复:这一步叫「预填充」。 如果新一轮请求的开头和上一轮一样,引擎可以调出之前算好的结果,接着处理新添的内容,这就是「前缀缓存」。 这里的「算好的结果」,就是模型读完那段前文时留下的计算记录。这次测试用的模型会留下两份。 一份保留前文的信息,方便模型回头查;另一份像账本上的余额,模型每多读一点,余额就更新一次。 Claude写的引擎会把同一段前文对应的两份记录一起存下来。下次遇到相同的开头,引擎就能从那段前文的末尾接着读,只算后面新添的内容。 SGLang也用了前缀缓存,两套引擎的缓存命中率都在96%左右。 16路请求同时过来时,没命中缓存的内容还要交给显卡处理。 每条请求剩下的计算量有多少,显卡先处理哪一条,也关系到你多久能看到AI回复的第一个字 。 Claude自研推理引擎与SGLang的性能对比。两者缓存命中率和生成速度接近,但Claude引擎的P90首token延迟明显更低。 剩下的活儿越少 排得越靠前 想象一下超市结账的场景: 排在你前头的顾客推着满满一平板车年货,几万个全新token等着从头扫码。 而你站在后面,手里只攥着一瓶矿泉水——也就是在老会话里追问了一句话,九成六的前文都有现成缓存。 在并发推理局里死守「先来后到」,等于让买一瓶水的人替整车年货罚站 。 因此,Claude给推理引擎定下了一条排队规矩: 谁剩下的计算量少,就先处理谁。 遇到好几万token的全新大单,引擎还会把它切成小块分批消化,绝不让一个大任务把整条车道堵死。 这样一来,你在旧对话里补的那句追问,就有机会绕过长请求的等待,优先得到处理。 生成阶段,引擎还叠加了「投机解码」: 模型自带的轻量预测层先猜一个token,主模型随后核验。猜对了,就直接采用预测结果;猜错了,就丢弃预测,按主模型的结果继续生成。 与此同时,引擎还把原本零散执行的GPU操作打包合并,减少不必要的调度和数据搬运。 即便SGLang也启用了前缀缓存和投机解码,Claude写的引擎在输入处理和请求调度上仍然占优:平均到每张GPU每秒,它能多处理19%的未缓存token。 横轴为P90首token延迟,纵轴为每GPU秒处理的未缓存token数。Claude自研引擎在降低首token等待时间的同时,也提高了未缓存输入的处理效率。 在相同的回放时限内,SGLang完成了705个请求,Claude写的引擎则完成了983个,多处理了近四成。 再按预设的输入、输出单价给完成的请求折算「模拟收入」,Claude引擎每GPU小时的产出从SGLang的8.18美元提高到11.52美元,增长40.8%。 开发者能更早看到AI回复,同样的显卡也能在同一段时间里处理完更多请求。 当然,真实工作场景中向来只认交付结果:跑得飞快却满嘴胡话,那叫高速翻车。 研究者在交卷时设了两道硬门槛:一是在并发负载下,必须完整生成规定长度的回复;二是通过隐藏测试的准确率验收。 参测的11套AI自研引擎里,最终只有5套同时闯过这两关;另外6套要么半路吞字断句,要么准确率崩盘,按规则当场判了零分。 11组AI搭基建 Claude五胜一平 手搓推理引擎,只是Singularity-Bench六道考题中的一道。 研究团队把造AI的核心苦活拆成了六场独立闭卷考:三道考训练(从头预训练、中期训练挑数据、后训练强化学习写代码),另外三道考基建(推理引擎、智能体运行框架、显卡集群调度)。 研究团队将AI研发划分为训练、部署和应用三个阶段,设置六项任务,测试智能体能否独立优化AI研发流程。 由7个主流模型与Claude Code、Codex两套运行框架组合出的11支AI队伍,全程断网领起始代码、按倒计时交卷,在完全相同的硬件上单挑人类打磨多年的成熟方案。 除了推理大胜,Claude Opus 5.5搭配Claude Code还在另外四道题上赢过了人类基线。 拿到 预训练 考卷(4张GB300、12小时),Claude没有急着开训,而是先花44分钟测试显卡性能,再根据测试结果确定模型规模。直到第44分钟,它才启动训练。 最终,Claude只用了约一半的训练计算量,就在验证集上取得12.77的困惑度,优于人类基线(OLMo 2 1B搭配Megatron-LM)的14.22。 到了 中期训练 (4张GB300、12小时),考题换成了给已有模型挑选下一批「教材」,再用同一套强化学习任务检验训练效果,考察模型在数学、代码和科学领域的表现。 Claude主要挑选解题过程完整、答案经过核验的数据。最终,它的方案将下游平均准确率从人类PRISM配方的17.5%提高到31.9%,接近翻倍。 智能体运行框架 (1张GB300、6小时)最具戏剧性:这道题考的是模型什么时候调用工具、出错后怎么查看日志,而人类对照组恰恰是原版Claude Code。 结果,Claude自己给自
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱