首页 时政热点 科技头条 智能AI 安全攻防 数码硬件 开发者生态 归档 标签 关于
智能AI morning

Claude自写推理引擎!等AI回第一个字,12秒砍到半秒

摘要

新智元报道 你让AI帮忙修一个登录报错。 照着它的建议改完代码,你重新跑了一遍登录测试。终端又弹出一行红字,报的还是同一个错。 你把新日志贴进对话框,再按下回车,等AI告诉你下一步查哪儿。 修一个bug,往往要这样来回折腾几轮。 每次提交问题后,你要等多久,才能看到AI回的第一个字? 最近,有人拿真实编程会话做了个测试,Claude直接把这段干等的时间从约12秒缩短到了半秒。 11月12日,卡内基...

Agents 新智元报道 你让AI帮忙修一个登录报错 照着它的建议改完代码 你重新跑了一遍登录测试 终端又弹出一行红字 报的还是同一个错 你把新日志贴进对话框 再按下回车 等AI告诉你下一步查哪儿
2026-11-20 1 阅读 约10分钟阅读 新智元
分享:
字号:
新智元报道 你让AI帮忙修一个登录报错。 照着它的建议改完代码,你重新跑了一遍登录测试。终端又弹出一行红字,报的还是同一个错。 你把新日志贴进对话框,再按下回车,等AI告诉你下一步查哪儿。 修一个bug,往往要这样来回折腾几轮。 每次提交问题后,你要等多久,才能看到AI回的第一个字? 最近,有人拿真实编程会话做了个测试,Claude直接把这段干等的时间从约12秒缩短到了半秒。 11月12日,卡内基梅隆大学、NVIDIA等机构的研究者提交了《奇点基准测试:智能体能构建智能体吗?》《Singularity-Bench: Can Agents Build Agents?》预印本。 其中一道题,研究者给了Claude Opus 5.5一份基础服务器代码、4张GB300显卡和12小时。 做题时,开发环境限制了上网查资料。Claude要用Claude Code写一套推理引擎,负责接收用户请求、调度显卡运行模型,再把生成的回复发回去。 引擎写完后,研究者没有只看代码,而是直接用真实编程会话检验它的表现。 他们让两套引擎分别用4张GB300运行同一个模型,回放同一批16路并发的真实编程会话。 衡量的指标叫 P90首token延迟 : 把所有请求从发出到模型开始回复的等待时间排个序,排在第90百分位的时间,就是P90。换句话说,90%的请求都能在这个时间内开始回复。 结果,成熟引擎SGLang(v0.5.20)用了约12秒,Claude写的引擎只用了0.48秒。 相同硬件和模型条件下,Claude自研推理引擎的P90首token延迟为0.478秒,SGLang为12.029秒。 等12秒,你可能已经切回编辑器,顺着报错翻了几行代码。半秒呢?你刚敲完回车,对话框里就能看到AI回复的第一个字。 一旦开始回复,两套引擎的生成速度几乎一样:按中位数算,Claude写的引擎每秒生成124.2个token,SGLang是125.0个。 那AI开口前的这11秒半,Claude到底是怎么省下来的? 只改一句话 服务器还要读多少 假设你正用AI改网页。 前面贴过源码和报错,也试过好几版方案。这一轮,你只补了一句「把登录按钮往右挪一点」。 在论文回放的编程会话里,前几轮的聊天记录也会一起送到服务器。16路会话同时跑,单次输入的中位数是 8.9万个token 。 模型得先处理输入,才能开始回复:这一步叫「预填充」。 如果新一轮请求的开头和上一轮一样,引擎可以调出之前算好的结果,接着处理新添的内容,这就是「前缀缓存」。 这里的「算好的结果」,就是模型读完那段前文时留下的计算记录。这次测试用的模型会留下两份。 一份保留前文的信息,方便模型回头查;另一份像账本上的余额,模型每多读一点,余额就更新一次。 Claude写的引擎会把同一段前文对应的两份记录一起存下来。下次遇到相同的开头,引擎就能从那段前文的末尾接着读,只算后面新添的内容。 SGLang也用了前缀缓存,两套引擎的缓存命中率都在96%左右。 16路请求同时过来时,没命中缓存的内容还要交给显卡处理。 每条请求剩下的计算量有多少,显卡先处理哪一条,也关系到你多久能看到AI回复的第一个字 。 Claude自研推理引擎与SGLang的性能对比。两者缓存命中率和生成速度接近,但Claude引擎的P90首token延迟明显更低。 剩下的活儿越少 排得越靠前 想象一下超市结账的场景: 排在你前头的顾客推着满满一平板车年货,几万个全新token等着从头扫码。 而你站在后面,手里只攥着一瓶矿泉水——也就是在老会话里追问了一句话,九成六的前文都有现成缓存。 在并发推理局里死守「先来后到」,等于让买一瓶水的人替整车年货罚站 。 因此,Claude给推理引擎定下了一条排队规矩: 谁剩下的计算量少,就先处理谁。 遇到好几万token的全新大单,引擎还会把它切成小块分批消化,绝不让一个大任务把整条车道堵死。 这样一来,你在旧对话里补的那句追问,就有机会绕过长请求的等待,优先得到处理。 生成阶段,引擎还叠加了「投机解码」: 模型自带的轻量预测层先猜一个token,主模型随后核验。猜对了,就直接采用预测结果;猜错了,就丢弃预测,按主模型的结果继续生成。 与此同时,引擎还把原本零散执行的GPU操作打包合并,减少不必要的调度和数据搬运。 即便SGLang也启用了前缀缓存和投机解码,Claude写的引擎在输入处理和请求调度上仍然占优:平均到每张GPU每秒,它能多处理19%的未缓存token。 横轴为P90首token延迟,纵轴为每GPU秒处理的未缓存token数。Claude自研引擎在降低首token等待时间的同时,也提高了未缓存输入的处理效率。 在相同的回放时限内,SGLang完成了705个请求,Claude写的引擎则完成了983个,多处理了近四成。 再按预设的输入、输出单价给完成的请求折算「模拟收入」,Claude引擎每GPU小时的产出从SGLang的8.18美元提高到11.52美元,增长40.8%。 开发者能更早看到AI回复,同样的显卡也能在同一段时间里处理完更多请求。 当然,真实工作场景中向来只认交付结果:跑得飞快却满嘴胡话,那叫高速翻车。 研究者在交卷时设了两道硬门槛:一是在并发负载下,必须完整生成规定长度的回复;二是通过隐藏测试的准确率验收。 参测的11套AI自研引擎里,最终只有5套同时闯过这两关;另外6套要么半路吞字断句,要么准确率崩盘,按规则当场判了零分。 11组AI搭基建 Claude五胜一平 手搓推理引擎,只是Singularity-Bench六道考题中的一道。 研究团队把造AI的核心苦活拆成了六场独立闭卷考:三道考训练(从头预训练、中期训练挑数据、后训练强化学习写代码),另外三道考基建(推理引擎、智能体运行框架、显卡集群调度)。 研究团队将AI研发划分为训练、部署和应用三个阶段,设置六项任务,测试智能体能否独立优化AI研发流程。 由7个主流模型与Claude Code、Codex两套运行框架组合出的11支AI队伍,全程断网领起始代码、按倒计时交卷,在完全相同的硬件上单挑人类打磨多年的成熟方案。 除了推理大胜,Claude Opus 5.5搭配Claude Code还在另外四道题上赢过了人类基线。 拿到 预训练 考卷(4张GB300、12小时),Claude没有急着开训,而是先花44分钟测试显卡性能,再根据测试结果确定模型规模。直到第44分钟,它才启动训练。 最终,Claude只用了约一半的训练计算量,就在验证集上取得12.77的困惑度,优于人类基线(OLMo 2 1B搭配Megatron-LM)的14.22。 到了 中期训练 (4张GB300、12小时),考题换成了给已有模型挑选下一批「教材」,再用同一套强化学习任务检验训练效果,考察模型在数学、代码和科学领域的表现。 Claude主要挑选解题过程完整、答案经过核验的数据。最终,它的方案将下游平均准确率从人类PRISM配方的17.5%提高到31.9%,接近翻倍。 智能体运行框架 (1张GB300、6小时)最具戏剧性:这道题考的是模型什么时候调用工具、出错后怎么查看日志,而人类对照组恰恰是原版Claude Code。 结果,Claude自己给自
这篇文章对您有帮助吗?

订阅66必读

每日精选科技资讯,直达你的邮箱