AI自己榨干算力！让Kimi K3自己写「超级算子」，推理快了3倍

新智元报道 大模型提速，原来还有这条路！ 上一周，vLLM原班人马创办的Inferact，开源了一套TPU Megakernels （巨型算子）。 他们把Kimi K3的92个MoE层一层不落地写进同一个程序，扔到16颗谷歌TPU v7上跑： 开着投机解码，单用户输出速度达到709 tokens/s；同样16块英伟达GB200，用vLLM跑，是452 tokens/s 。 关掉投机解码，在1到8的并发下，它也都是GB200的1.4到2倍。 最扎心的是，按纸面参数，TPU v7的显存带宽（7380GB/s）还比GB200（8000GB/s）低一截。 硬件没占到便宜，赢在了写法上。 还有个彩蛋，这套巨型算子从零编译只要不到90秒。以前在TPU上编译一个同量级的大模型，动辄半小时起步。 同一周，国内也传来进展。 在AICC2026上，浪潮信息发布元脑SD200 Ultra超节点AI服务器，用 128 芯的本土 AI芯片 ， 单机跑起同一个K3，Token生成时延压到5.85毫秒。 他们的招数叫「 超级算子 」。 一个用谷歌TPU，一个用 本土 AI 芯片 ，同一周、同一个模型，都在拆算子之间的那堵墙。 更有意思的是， 浪潮 信息 的 超级算子 ，有一大块是让K3自己写的。 大模型吐字慢 到底卡在哪儿 很多人以为大模型吐字慢是算力不够。其实芯片大部分时间闲着，在等数据。 模型每生成一个token，都要把用到的参数从显存（HBM）里搬一遍。算得再快，货没到也只能干等。 所以推理速度的天花板，很多时候由显存带宽说了算。 很多时候，麻烦出在「算子」上。算子可以理解成一个个小程序，做一次矩阵乘、做一次归一化，各管一摊。 传统推理框架里，生成一个token要依次启动一长串算子，每个都走一遍「搬数据—计算—写回去」。 据统计，K3单步推理要调用数千次算子。 打个比方 ，这就像坐老式绿皮火车从北京到广州，一路几百个小站，每站都要停车、卸货、装货、再启动，两天两夜才到。 车停着的那几分钟，铁轨是空的。换到芯片上，就是显存带宽在算子切换的空档里被白白浪费。 一个空档不起眼，几千个攒起来，就是理论速度和实际速度之间那道大坑。 英伟达这些年也在补坑，CUDA Graphs、PDL这些技术能让车停得短一点。可站还在，车就得停。 那就把站撤了，改高铁，一站直达。这就是算子融合。 整个模型，就是一个算子 Inferact的做法最狠：既然边界是浪费的源头，那就一个边界都不留。 92层全装进一个kernel，程序按层号自己判断这一层该走KDA还是MLA（K3用的两种注意力机制）。 所有层都在同一个程序里，上一层还在算，下一层的权重就已经在搬运的路上了。等轮到它，货早就码在芯片手边。 这招能成，得感谢TPU的一个设计。 TPU v7每个核心自带64MiB的片上高速内存（VMEM），数据搬进来放多久、什么时候腾地方，全由程序说了算。 GPU的片上内存要分给一百多个计算单元，每个单元只摊到两百多KB，想提前囤货都没地方放。 TPU给了一个大仓库，还把钥匙交给了写程序的人。 至于编译为什么快得离谱，Inferact的解释很实在： 原来编译器每次都要在成百上千个操作里反复摸索怎么排顺序、怎么重叠，现在这些活儿，工程师一次性手工做完了。 注意这个「手工」一词，四位作者都是顶尖的推理工程师，写这样一个巨型算子，门槛高得吓人。 Inferact在博文里也留了一句：以后会有更多这样的kernel，由编程智能体（coding agent）来写。 写算子这门手艺 AI正在接手 这句话可不是客套。 9月14日，DeepSeek的算子工程师刘胜与发了一篇长文，跟自己「手写算子的时光」告别。 他给DeepSeek V4.1写过主注意力算子，是真正在一线拧螺丝的人。他在文中预计，半年到一年内，AI写的算子就会追上甚至超过他。 一年前，他的AI助手还只能帮忙找bug；现在已经能自己读CUDA、PTX、SASS这些底层代码，动手调优。 他还写了一句很扎心的话：自己算子写得越好，新模型训练和推理就越快，他被替代得也越快。 大洋彼岸也在跑同一条路。今年4月，Cursor和英伟达合作，用一套多智能体系统优化了235个CUDA算子，三周跑下来，平均提速38%。 为什么偏偏是算子最先被AI接手？ 因为它有标准答案：结果对不对，一跑就知道；快了多少，秒表说了算。 AI可以没日没夜地写、测、改，人熬不过它。 浪潮信息，已经把这件事用在了K3身上。 让K3优化K3，系统级破局 面对同样的Kimi K3，国内的浪潮信息也在做算子融合，同时把优化延伸到整个超节点系统。 两家的共同点很明确：把细粒度的小算子融合成大算子，减少启动和数据搬运的开销。 区别就在于粒度。Inferact把整个解码过程融合成一个算子；浪潮信息的粒度相对较小，围绕KDA、Gated MLA、MoE等模块做融合，形成 超级算子 。 也就是说，两家都在减少中间停靠，只是合并的范围不同。 在 不久前 的AICC 2026上，浪潮信息直接亮出了元脑SD200 Ultra超节点 AI 服务器 。 它的底层逻辑很务实：在单卡显存和制造工艺存在现实约束的客观环境下，想要承载2.8万亿参数、还要把时延降下来，必须走系统级创新。 元脑SD200 Ultra采用3D Hyper Mesh架构，将128颗 AI 芯片组织成协同计算的整体，提供8TB统一编址显存，并配合64TB内存，为模型权重和不断增长的KV Cache 提供承载空间。 这样，前沿模型就能够充分利用多颗芯片的计算和显存资源，支持10万亿参数模型在单机上部署和运行。 紧接着，他们在这个底座上干了三件非常狠的事： 搞定「对称内存」，实现显存直接串门 在传统集群里，GPU之间互通数据，必须由CPU充当中介打报告、做调度，层层转手。 这就像同一个小区的邻居互相串门，过去非得先跑一趟物业，办个进门条才能去隔壁单元。 而SD200 Ultra通过对称内存技术，彻底踢开了中间层，显存统一编址，GPU直接点对点访问远端显存，相当于推门就进邻居家。 这一招，直接把跨卡通信时延压到0.69微秒，AllReduce通信时间骤降3.5倍！ 通算融合，把绿皮车升级成直达高铁 数据通路打通后，接下来 超级算子 的优化分三步展开。 第一步，把小算子变成大算子，减少中间停靠。 具体做法是，把KDA、Gated MLA、MoE等模块中的细粒度算子融合成超级算子。结果，算子数量减少到原来的约十分之一。 关键在于，合并之后，数据怎么留在芯片手边。 工程师会根据片上存储容量，把数据切成合适大小的块。前一步算出的结果，尽量直接留在寄存器或片上缓存中，交给后一步接着用。 就像几个工位连在一起，半成品顺手递过去，省掉了每做一道工序都送回仓库、再取出来的折腾。这样既减少了kernel的启动次数，也减少了中间结果反复写入、读取HBM的开销。 第二步，把通信和计算融合，让搬数据与做计算同步进行。 大算子内部也要「排好班」。团队按Tile（数据块）组织流水线，通过异步搬运和多缓冲机制，让不同数据处在不同的处理阶段—— 当前块正在计算，下一块提前搬进来，已经算完的块则写回结果。 缓冲区轮流接力，芯片就能少一些等数据的空档