AI写算子让Kimi K3推理快3倍,TPU反超英伟达
上一周,vLLM原班人马创办的Inferact开源了TPU Megakernels,把Kimi K3的92个MoE层写进同一个程序,在16颗谷歌TPU v7上运行:开启投机解码,单用户输出达709 tokens/s;同样16块英伟达GB200用vLLM跑为452 tokens/s。关闭投机解码,在1到8并发下,它也是GB200的1.4到2倍。而TPU v7显存带宽7380GB/s,还低于GB200的8000GB/s,赢在了写法上。这套巨型算子从零编译只需不到90秒,以往同量级模型动辄半小时起步。
同一周,浪潮信息在AICC2026发布元脑SD200 Ultra超节点AI服务器,用128芯本土AI芯片,单机跑同一个K3,Token生成时延压到5.85毫秒,招数叫“超级算子”。两家同一周、同一模型,都在拆算子之间的墙。浪潮信息的超级算子,有一大块是让K3自己写的。

大模型吐字慢,常被误认为算力不够,其实芯片大部分时间在等数据。每生成一个token,都要把参数从显存搬一遍,推理速度天花板多由显存带宽决定。传统框架生成一个token要依次启动一长串算子,K3单步推理要调用数千次算子,每次都要搬数据、计算、写回,空档累积成理论速度与实际速度的差距。英伟达用CUDA Graphs、PDL让停顿短一点,但站还在。彻底的办法是算子融合。
Inferact把92层全装进一个kernel,程序按层号判断走KDA还是MLA,上一层还在算,下一层权重已在搬运。这得益于TPU v7每个核心自带64MiB片上高速内存,数据搬进来放多久由程序说了算;GPU片上内存分给一百多个计算单元,每个只摊到两百多KB。编译快是因为工程师一次性手工做完排序和重叠,门槛极高。Inferact博文提到,以后会有更多这样的kernel由编程智能体来写。

9月14日,DeepSeek算子工程师刘胜与发文告别手写算子,预计半年到一年内AI写的算子会追上甚至超过他。今年4月,Cursor和英伟达合作,用多智能体系统优化235个CUDA算子,三周平均提速38%。算子有标准答案,结果对不对一跑就知道,快了多少秒表说了算,AI可以没日没夜地写、测、改。
浪潮信息也在做算子融合,并把优化延伸到整个超节点系统。两家共同点是融合细粒度小算子成大算子,区别在粒度:Inferact把整个解码过程融成一个算子;浪潮信息围绕KDA、Gated MLA、MoE等模块融合成超级算子。元脑SD200 Ultra采用3D Hyper Mesh架构,将128颗AI芯片组织成整体,提供8TB统一编址显存和64TB内存,支持10万亿参数模型单机部署。

他们做了三件事:一是对称内存,显存统一编址,GPU直接点对点访问远端显存,跨卡通信时延压到0.69微秒,AllReduce通信时间降3.5倍;二是通算融合,把小算子变成大算子,算子数量减到约十分之一,数据按片上存储切块,前一步结果留在寄存器或缓存中交给后一步,减少kernel启动和HBM读写,再按Tile组织流水线,异步搬运和多缓冲让计算与搬数据同步;三是让K3参与优化K3,搭建“超级算子智能体”,在生成—验证—测量—迭代闭环中自动写出候选超级算子,经正确性校验和真实负载跑分,只有算得对又更快的才上线,最终性能再拉升50%,综合推理效能提升3倍以上。
最终单机吃下2.8万亿参数的Kimi K3,Token生成时延首度杀进5.85毫秒,单用户吞吐突破170 tokens/s,达业界平均水平的5倍。芯片纸面参数越来越接近,拉开差距的是软件和系统:算子边界在消失,通信和计算在合流,写算子的活越来越多交给AI。对国产算力来说,这条路尤其实在:靠系统级紧耦合加算子层深度优化,基于本土AI芯片的超节点照样能把2.8万亿参数模型跑进毫秒级时延。模型一字不改,光靠算子融合和内存管理就能拿到几倍提升,比等下一代芯片更快也更便宜。更深的变化在买算力的人身上:以前客户问多少卡、多少网络、多少存储,现在先问这个模型在你机器上能跑多快。推手是Agent,一个任务要经历上百轮推理—调工具—看结果—重新规划,每轮慢一点整条链路就慢好几分钟。每秒吐多少token、一个token等多久,才是直接落在体验上的东西。浪潮信息把这类需求叫“能力型智算”:让最前沿最大的模型跑得起来,还得跑得快。
更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线
过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...
2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成
英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...
2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业
「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...
2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作
游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...
2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno
Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...
2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提
我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...
2026-11-20 19:59:42