谷歌TPU推理成本反超英伟达，黄仁勋三次断言被数据打脸

英伟达死守的推理性价比神话被打破。SemiAnalysis发布谷歌第七代TPU Ironwood首份第三方推理性能测算：在完全对等负载下，TPU每美元性能最高领先B200达50%，对B300领先幅度达96%。每百万Token成本，TPU仅0.181美元，B200为0.222美元，B300高达0.276美元。

今年4月，黄仁勋曾在播客中称TPU与Trainium不敢跑分，并鼓励挑战者用InferenceMAX证明推理成本优势。五个月后，TPU带着数据如约而至。测试方法公平：同款开源模型，FP8对FP8，输入8k输出1k，B200与B300跑与TPU完全一致负载。在每秒100 Token单用户吞吐基准下，TPU比B200便宜19%，比B300便宜34%。若中位响应时间卡在20秒，TPU成本0.098美元，B200为0.106美元，B300为0.132美元。B200仅在30秒响应时间狭窄区间维持微弱抵抗，B300全程成本劣势。

黄仁勋曾称从第一性原理看TPU优势毫无道理。物理测试未推翻其底层推演，但他算错了商业账。TPU原始吞吐曲线大部分区间物理性能确实不及GPU，但每小时租赁成本断崖式低廉。5%物理吞吐优势叠加极低单位时间租金，转化为50%每美元性价比优势。若按谷歌内部每颗芯片一小时1.03美元底线成本核算，优势放大至77%乃至130%。黄仁勋计算单芯片绝对算力，客户衡量的是每张钞票的实际产出。

黄仁勋还断定Anthropic只是特例，失去支撑TPU将丧失增长引擎。该断言仅表面成立。Anthropic确实吞下超100万颗TPU，约40万颗买断，60万颗通过谷歌云租赁，到2029年将超越DeepMind成为全球最大TPU单一用户。但另一半正迅速失效：谷歌自去年起开放芯片直售，不再死守云端租赁。黄仁勋4月敢那么说，是因为TPU从未对外标价。现在价标出来了，还是别人替谷歌标的。

TPU如何实现成本倾轧？SemiAnalysis揭示谷歌工程哲学：不单一追求物理峰值，而是将计算Die、芯片间互联及底层编译器铸成闭环系统，在每处接缝压榨成本。Ironwood拆为两个独立计算Die，每颗内嵌2个TensorCore与4个SparseCore，HBM容量达上代Trillium的6倍，决定KV Cache与Batch大小。它是首代原生支持FP8的TPU，矩阵单元采用256×256脉动阵列，每周期完成65536次乘加，吞吐量达v5架构4倍。第八代将训练和推理拆成8t、8i两颗芯片，8i片上SRAM扩至384MB，为上代3倍，专将推理模型KV Cache留在片上。

网络互联方面，芯片间通过自研ICI总线交互，绕开主机CPU、PCIe与通用网卡。拓扑呈3D Torus，每颗芯片物理链接6个相邻节点，64颗组建机架级立方体，再通过光学电路交换机拼接至9216颗芯片超级矩阵。任一光纤链路故障，系统可利用光学反射镜数秒内重路由。到TPU 8i，3D Torus换成Boardfly拓扑，千颗芯片规模下最大跳数从16砍到7，MoE路由和多轮Agent尾延迟减半。

性能表现潜藏于底层软件重构。谷歌、Inferact与RadixArk联手投入数百工程小时，萃取三项决定性优化。第一，KV Cache页数翻倍，削减首Token延迟。旧注意力内核沿头维度打包KV，导致单KV头模型一半计算资源被补零吞噬。现将Token转移至128 Lane维度，可用KV页从5141暴涨至10283，并发128时吞吐提升16.5%，中位首Token延迟骤降95%。第二，参数拆解提升解码吞吐。旧启发式算法将计算块和读取块均锁定16k Token，VMEM无空间预取。现将读取块维持16k，计算块砍至4k，解码吞吐从每秒64.9k Token跃升至96.3k。第三，通信任务向SparseCore转移。Ironwood每颗芯片4个SparseCore原专属于Embedding查表等稀疏计算，现将ReduceScatter和MoE Token重排任务全部转移，释放TensorCore专注矩阵乘法。8k输入1k输出负载下吞吐提升4.1%至14.2%，1k输入8k输出并发512时吞吐暴增26.1%。数百个微小优化累加，铸就压倒性50%性能优势。

最颠覆之处在于谷歌只动了软件。开源推理生态此前深扎PyTorch与CUDA，TPU原生环境是JAX。此前vLLM跑TPU需靠TorchAX翻译墙，逐算子翻译为JAX执行，导致分页注意力与底层优化大量兼容问题，谷歌联合开源社区耗时一年多修补。如今TorchTPU直接炸毁翻译墙，利用PyTorch自带PrivateUse1后端接口，令TPU直接成为原生Torch计算设备。开发者仅需一行代码将编译交由XLA处理，性能核心算子调用Pallas内核，DDP与FSDP2等分布式特性无缝运转。vLLM和SGLang等框架调度器与API层核心代码可直接复用。CUDA帝国城墙