谷歌Meta联手开源TorchTPU，8000颗TPU验证挑战英伟达

谷歌今日宣布开源TorchTPU，这是谷歌与Meta PyTorch团队共同开发的原生TPU软件栈，开发者可用较少代码改动将现有PyTorch模型部署到谷歌TPU上。目前多数AI应用运行在英伟达GPU上，谷歌此次开源或试图打破英伟达在AI产业的主导地位。PyTorch由Meta AI团队于2016年启动开发、2017年正式开源，现已成为全球AI研究和应用开发中使用最广泛的框架之一。

围绕TorchTPU，谷歌将TPU接入vLLM、SGLang、llm-d、TorchTitan、VeRL、Ray、Hugging Face和LiteRT等工具，覆盖大模型训练、推理、强化学习、集群调度及端侧部署等场景。谷歌称，基于TorchTPU的训练方案已在最多8000颗Ironwood TPU上完成验证，在Qwen3-8B训练测试中实现最高52%的模型浮点运算利用率；推理侧，印度AI公司Zenteiq.ai使用相关方案后整体推理吞吐量提升超过4倍。开发者可根据模型规模、运行速度和成本，在TPU、GPU和CPU之间灵活选择。

TorchTPU支持开发者使用标准PyTorch API在TPU上运行模型，可先通过eager mode调试，再用torch.compile编译优化，并支持分布式计算和多种诊断工具。Meta PyTorch工程总监Jana van Greunen表示，TorchTPU让Meta能将PyTorch工作负载部署到谷歌TPU上。谷歌还与Hugging Face合作，在Transformers v5中开发者只需设置device_map="tpu"即可将模型部署到TPU；在Diffusers中可使用torch.compile和张量并行在多颗TPU上运行大型生成模型。

推理工具方面，谷歌与Inferact合作推出vLLM原生TorchTPU后端，支持连续批处理、量化和多芯片并行；与RadixArk合作开发SGLang的TorchTPU后端；与红帽、IBM及超过500名贡献者、25家机构共同发布llm-d 1.0，新增多租户流量控制、高可用路由和面向Agent的会话路由。在GKE上，开发者可通过统一llm-d端点在GPU和TPU间选择硬件。Zenteiq.ai创始人Sashikumaar Ganesan称，使用基于llm-d的GKE Inference Gateway后，整体推理吞吐量提升超过4倍，在1000颗TPU v6e上日生成Token数从14.7亿提升至59.7亿。

训练侧，TorchTitan已完成与TorchTPU的生产级集成，为Llama 3 70B/405B、Qwen3-8B/32B/235B、MuseGlimmer 30B、FLUX.1系列12B等模型提供预训练配方。谷歌称TorchTitan已在8000颗Ironwood TPU上完成验证，Qwen3-8B训练测试中实现最高52%的模型浮点运算利用率，并在最多8192颗Ironwood TPU上保持接近线性扩展能力。谷歌还向VeRL贡献TPU后端和端到端参考配方，支持在数学推理数据集上运行GRPO；并为Ray加入TorchTPU支持，可在同一工作流中调度CPU、GPU和TPU资源。

端侧方面，LiteRT正式加入PyTorch生态。通过LiteRT-Torch，开发者可用一次调用将PyTorch模型转换为LiteRT格式，并可将Hugging Face Transformers模型导出到LiteRT-LM，支持在Android、iOS、macOS、Windows、Linux、Web和物联网设备上运行。谷歌还在GitHub预览发布TPU agent suite，协助开发者完成模型部署、问题诊断和推理性能调优。

谷歌此次开源TorchTPU降低了开发者对单一硬件平台的依赖，但英伟达GPU仍拥有成熟软件生态和广泛开发者基础，TorchTPU短期内难以改变这一格局。若谷歌能持续完善TPU工具链并在性能和价格上展现优势，TPU有望在部分大模型训练和推理场景中获得更多应用。