AI写算子让Kimi K3推理快3倍，TPU反超英伟达

上一周，vLLM原班人马创办的Inferact开源了TPU Megakernels，把Kimi K3的92个MoE层写进同一个程序，在16颗谷歌TPU v7上运行：开启投机解码，单用户输出达709 tokens/s；同样16块英伟达GB200用vLLM跑为452 tokens/s。关闭投机解码，在1到8并发下，它也是GB200的1.4到2倍。而TPU v7显存带宽7380GB/s，还低于GB200的8000GB/s，赢在了写法上。这套巨型算子从零编译只需不到90秒，以往同量级模型动辄半小时起步。

同一周，浪潮信息在AICC2026发布元脑SD200 Ultra超节点AI服务器，用128芯本土AI芯片，单机跑同一个K3，Token生成时延压到5.85毫秒，招数叫“超级算子”。两家同一周、同一模型，都在拆算子之间的墙。浪潮信息的超级算子，有一大块是让K3自己写的。

大模型吐字慢，常被误认为算力不够，其实芯片大部分时间在等数据。每生成一个token，都要把参数从显存搬一遍，推理速度天花板多由显存带宽决定。传统框架生成一个token要依次启动一长串算子，K3单步推理要调用数千次算子，每次都要搬数据、计算、写回，空档累积成理论速度与实际速度的差距。英伟达用CUDA Graphs、PDL让停顿短一点，但站还在。彻底的办法是算子融合。

Inferact把92层全装进一个kernel，程序按层号判断走KDA还是MLA，上一层还在算，下一层权重已在搬运。这得益于TPU v7每个核心自带64MiB片上高速内存，数据搬进来放多久由程序说了算；GPU片上内存分给一百多个计算单元，每个只摊到两百多KB。编译快是因为工程师一次性手工做完排序和重叠，门槛极高。Inferact博文提到，以后会有更多这样的kernel由编程智能体来写。

9月14日，DeepSeek算子工程师刘胜与发文告别手写算子，预计半年到一年内AI写的算子会追上甚至超过他。今年4月，Cursor和英伟达合作，用多智能体系统优化235个CUDA算子，三周平均提速38%。算子有标准答案，结果对不对一跑就知道，快了多少秒表说了算，AI可以没日没夜地写、测、改。

浪潮信息也在做算子融合，并把优化延伸到整个超节点系统。两家共同点是融合细粒度小算子成大算子，区别在粒度：Inferact把整个解码过程融成一个算子；浪潮信息围绕KDA、Gated MLA、MoE等模块融合成超级算子。元脑SD200 Ultra采用3D Hyper Mesh架构，将128颗AI芯片组织成整体，提供8TB统一编址显存和64TB内存，支持10万亿参数模型单机部署。

他们做了三件事：一是对称内存，显存统一编址，GPU直接点对点访问远端显存，跨卡通信时延压到0.69微秒，AllReduce通信时间降3.5倍；二是通算融合，把小算子变成大算子，算子数量减到约十分之一，数据按片上存储切块，前一步结果留在寄存器或缓存中交给后一步，减少kernel启动和HBM读写，再按Tile组织流水线，异步搬运和多缓冲让计算与搬数据同步；三是让K3参与优化K3，搭建“超级算子智能体”，在生成—验证—测量—迭代闭环中自动写出候选超级算子，经正确性校验和真实负载跑分，只有算得对又更快的才上线，最终性能再拉升50%，综合推理效能提升3倍以上。

最终单机吃下2.8万亿参数的Kimi K3，Token生成时延首度杀进5.85毫秒，单用户吞吐突破170 tokens/s，达业界平均水平的5倍。芯片纸面参数越来越接近，拉开差距的是软件和系统：算子边界在消失，通信和计算在合流，写算子的活越来越多交给AI。对国产算力来说，这条路尤其实在：靠系统级紧耦合加算子层深度优化，基于本土AI芯片的超节点照样能把2.8万亿参数模型跑进毫秒级时延。模型一字不改，光靠算子融合和内存管理就能拿到几倍提升，比等下一代芯片更快也更便宜。更深的变化在买算力的人身上：以前客户问多少卡、多少网络、多少存储，现在先问这个模型在你机器上能跑多快。推手是Agent，一个任务要经历上百轮推理—调工具—看结果—重新规划，每轮慢一点整条链路就慢好几分钟。每秒吐多少token、一个token等多久，才是直接落在体验上的东西。浪潮信息把这类需求叫“能力型智算”：让最前沿最大的模型跑得起来，还得跑得快。