谷歌TPU跑Kimi比英伟达GPU快57%,代码已开源
16块谷歌TPU v7跑Kimi K3,每秒跑出709个Token,比英伟达GB200快57%。做出这一成绩的是推理创业公司Inferact,其创始团队为vLLM原班人马,今年获a16z领投的1.5亿美元种子轮,估值8亿美元。
Inferact为TPU编写了名为megakernel的推理内核,将模型推理时原本需调度的几百个小程序合并为一个大程序,配合TPU片上内存架构,把内存带宽利用率逼至硬件理论峰值附近。再配上DeepSeek提出的DSpark推测解码框架,K3在TPU上实现每秒709 token。该代码已开源。

测试在完全相同条件下进行:16块TPU v7 Ironwood对阵16块英伟达GB200,均跑Kimi K3、均用vLLM推理引擎,唯一变量是芯片和底层kernel实现。TPU每秒709个token,GB200每秒452个,TPU快57%。DSpark原理是让小模型先猜一串候选token,大模型批量验证,猜对跳过、猜错回退。Inferact在TPU上跑通该流程,acceptance length达6,单步decode耗时约8.5毫秒。
关掉推测解码看裸速,差距同样明显。batch size为1时,TPU每秒249个token,GB200仅127个,差距近一倍;batch size为8时,TPU达865个,GB200为636个。在Qwen上差距更大:4块TPU v7跑Qwen 3.8 27B,每秒1515个token,同配置GB200仅695个。提速未造成精度损失,greedy decoding验证下,Kimi K3在TPU上的GPQA-Diamond得分94.4%、GSM8K为97.2%,与GPU结果完全一致。

这一差距无法从硬件规格解释:TPU v7的HBM带宽为7380 GB/s,GB200反而更高,达8000 GB/s。差距实际来源于芯片上运行的软件。
大模型推理瓶颈不在计算,在数据搬运。每生成一个token,全部权重都要从HBM搬入芯片内部高速缓存算一遍。传统做法将一次推理拆成几百个独立kernel排队执行,交接间隙内存带宽空转。CUDA Graphs和英伟达PDL能缩短间隙,但kernel边界仍在。megakernel直接消除边界:Kimi K3共92层MoE计算,Inferact将其从头到尾塞进一个Pallas程序,一次调用走完整个前向传播。边界消失后,跨层权重预取顺理成章——第N层还在算MoE时,第N+1层attention权重已开始搬运,计算与搬运同时进行。

TPU硬件特性让这种编排更顺畅:每个TensorCore带64 MiB VMEM片上内存,生命周期完全交给软件管理,容量足够同时装下当前层计算数据和下一层预取权重。GPU方面,Blackwell架构片上内存分散在152个SM中,总量约38 MiB,由硬件自动调度,跨层编排限制更多。
Inferact用Pallas语言手写整个megakernel。TPU默认编译工具链XLA擅长优化单层计算,但跨92层协调数据搬运决策分支太多,找不到最优解。绕过XLA后,编译耗时从30分钟以上降至不到90秒。目前megakernel针对Kimi K3定制,换模型架构需重新适配,团队接下来将扩展支持更多模型架构。
Inferact去年11月成立,团队几乎就是vLLM原始开发者。CEO Simon Mo是vLLM原始维护者,伯克利EECS毕业,曾在Anyscale工作;联合创始人Woosuk Kwon是vLLM项目发起人,伯克利计算机科学博士,导师Ion Stoica,其提出的PagedAttention算法至今仍是vLLM核心技术;首席科学家游凯超曾获清华大学特等奖学金,主导vLLM分布式推理功能开发。a16z和Lightspeed领投,真格、红杉、Altimeter跟投。
此次TPU megakernel来自Inferact与Google Cloud的联合工程合作,目标是让TPU成为vLLM一流支持对象,所有优化成果回馈上游开源社区,tpu-megakernels代码仓库是首个公开成果。
更多推荐阅读

Fable 5.2连操作系统都能搓,大厂开始重新分工:会用 AI 只是及格线
过去几天,Claude Fable 5.2 再次抬高了我们对 AI 编程的想象。 Claude 工程主管 Felix Rieseberg 开发的游戏 Saltline 在 X 上大火,他只用一次初始提示、没有后续人工反馈,Fable 5.2 自己生成游戏模型、音效和贴图,最终呈现了一款紧张刺激的第一人称射击游戏。 图|体验🔗:https://claude.ai/artifact/BGY1Szt...
2026-11-21 19:57:34
谷歌奇袭英伟达:整柜TPU外售加速交付,推理每美元性能领先GB200五成
英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌内部人士处获悉,谷歌内部信心十足,表示“明年TPU市场份额会快速上升”,...
2026-11-21 19:57:11
Claude 开始「整顿」会议室,建议国内大厂抄作业
「拉个会对齐下颗粒度,叫上 Claude。」 打开 Google Meet 准备进会,参会者名单里出现了一个叫做 Claude 的头像。 会议主持人把 Claude 添加进通话,它以可见参与者的身份出现,同时在聊天窗口发布通知,明示自己正在加入。会议进行当中,它持续跟随对话,可以实时记录笔记、整理行动项、起草文件,或在白板上梳理结构与时间线。 团队成员可以在通话期间直接编辑它生成的内容,讨论...
2026-11-21 19:52:11
从AI建模到游戏生成,HolyMolly让人人都能玩转3D互动创作
游戏版抖音又添新玩家。 《小王子》又在网上火了一次。 这回是一位叫Sac的创作者照着书里的故事做了一款3D游戏。 小王子住过的星球变成了可以走动的地方,玩家能跟着故事穿过不同的场景,看看那些原本只能靠想象补全的画面。 该游戏视频发到社交媒体后吸引了接近400万次浏览。 这款作品的制作周期只有16天。Sac用Claude Opus 5.5参与代码和游戏搭建,借助Tripo生成3D模型,再用...
2026-11-20 20:00:00
全球AI音乐榜第一易主!中国黑马首次上榜就干翻Suno
Suno,被超了?? 好家伙,AI音乐圈最近突然杀出了一匹中国黑马。 ACE Music v1,一个此前很多人可能都没听过的名字,首次登上全球权威AI评测机构Artificial Analysis(简称AA)的音乐人声榜,就把Suno最新旗舰模型v6挤到了第二。 榜单上,ACE Music v1拿下1160分,领先Suno v6整整16分。 要知道,自2023年AI音乐赛道兴起以来,Sun...
2026-11-20 19:59:59
「别提越权」!OpenAI自曝:AI摸进黑客考场后台,交卷时只字不提
我们应该避免提到未经授权的基础设施。任务目标只有flag。 很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。 这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。 写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。 11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节: 参与测试的5个...
2026-11-20 19:59:42