导语

美东时间10月20日，在美国加州圣何塞举行的PyTorch Conference North America 2026首日，谷歌联合Meta正式宣布开源TorchTPU——面向谷歌TPU的原生PyTorch后端，以Apache 2.0许可发布。就在同一天，亚马逊面向Trainium芯片的原生PyTorch后端TorchNeuron也以公开测试版形式开源。两家全球最大云厂商在同一个大会、同一个时间窗口，以同一种技术路线——“原生PyTorch后端”——向英伟达CUDA生态发起合围。AI算力市场的竞争，正从芯片性能的“硬件之战”，升级为开发者生态的“软件之战”。

一、开源时刻：TPU成为PyTorch“原生设备”

10月20日，由PyTorch基金会主办的PyTorch Conference North America 2026在圣何塞开幕（会期10月20日至21日，参会者超3500人）。谷歌在大会上正式开源TorchTPU，并与PyTorch官方博客同步发布技术公告。核心信息包括：

1.联合开发：TorchTPU由谷歌于2025年年中启动，并与Meta的PyTorch团队深度合作完成，官方定位为“谷歌与Meta的开源合作项目”。

2.许可与版本：以Apache 2.0许可开源，v0.2.0版本同步发布至PyPI，要求Python 3.11及以上。

3.取代旧栈：PyTorch官方明确，2020年引入、基于Lazy Tensors的PyTorch/XLA多年以来难以使用；TorchTPU取代其成为TPU上的官方PyTorch路径，新工作负载应直接使用TorchTPU。

4.四个仓库：TorchTPU、vLLM-TorchTPU、SGLang-TorchTPU、TorchTitan四个仓库同步开源，覆盖后端本体、两大主流推理框架与训练框架。

5.迁移方式：开发者只需将设备改为torch.device("tpu")——把model.to("cuda")改成model.to("tpu")，无需重写代码。

与开源动作配套，谷歌还推出了TPU命令中心与TPU代理工具套件，协助开发者将应用迁移至TPU与谷歌云并实时排障，同时升级了端侧推理工具LiteRT对PyTorch应用的兼容性。

二、技术拆解：一条“torch.device('tpu')”的迁移捷径

TorchTPU的“原生”体现在三个层面。其一，接口原生：TorchTPU通过PyTorch标准的PrivateUse1设备后端机制接入，以普通torch.Tensor直连TPU，运行时不含任何JAX依赖；约450个Aten算子获得TPU原生实现。其二，执行模式双轨：TorchTPU同时支持eager与compiled两种模式，eager模式提供Strict、Debug、DeferAndFuse三档，其中DeferAndFuse通过算子融合可将性能较Strict提升50%以上；compiled模式经Torch Dynamo图捕获、StableHLO中间表示、XLA编译链路，以torch.compile(backend="tpu")一键启用。其三，分布式原生：TorchTPU在进程组层面实现tpu_dist后端，支持DDP、FSDP、DTensor、SimpleFSDP等标准PyTorch分布式API，多机扩展无需改造模型代码。

在兼容性验证上，官方披露：TorchTPU已在Hugging Face下载量最高的5000个模型上验证开箱运行——实测覆盖4917个独立模型、500余个架构族，Tier-1“开箱可用”通过率达98%（4821/4917），Tier-2“数值一致性”（相对GPU基线）达97%（638/657）；覆盖Qwen、DeepSeek、Gemma、Llama、Mistral等主流大语言模型，Whisper等语音模型，DinoV2、SigLIP、CLIP等视觉模型，以及BERT、T5等文本编码模型。

官方披露的代表性性能数据（均源自PyTorch官方博客《Introducing TorchTPU》）：

1.Muse Glimmer 30B推理（纯PyTorch实现）：单颗TPU v7芯片prefill吞吐约25.7k token/s、MFU达59%（序列长度5120）；训练在4颗TPU v7芯片上约5.6k token/s/TPU、MFU 38%。

2.Qwen3 MoE 235B训练扩展（TorchTitan）：在8192颗TPU v7芯片（8个slice、HSDP）上完成弱扩展验证，达2104 token/s/TensorCore、MFU 27.1%；64芯片下与JAX/MaxText性能相当（1828对1937 TPS）。

3.Qwen3.5推理（vLLM-TorchTPU）：独立评测机构SemiAnalysis的InferenceX基准中，仅4颗TPU v7芯片即以2.01美分/百万token实现全榜最低推理成本（较9月首秀的3.6美分大幅下降）；AgentX基准下0.83美分/百万token，交互延迟达SOTA水平。

4.TorchTitan微调（FLUX.1-dev 12B）：eager基线单步11.49秒，经DeferAndFuse、SimpleFSDP、Pallas内核与torch.compile逐级优化，最终降至2.78秒。

5.TorchRec推荐系统（DLRM v2）：在32颗TPU v7x芯片上单步延迟18.3ms，与谷歌JAX基线100%对齐。

表1  TorchTPU 与 PyTorch/XLA 对比

三、生态合纵：Meta、Hugging Face、vLLM与SGLang的协同

TorchTPU开源的意义不止于“一个后端”，而是一张生态网络：

1.Meta：作为联合开发者深度参与，Meta PyTorch工程总监Jana van Greunen在大会主题演讲中介绍了TorchTPU合作。PyTorch本由Meta于2016年开发、2022年移交Linux基金会管理，如今成为连接谷歌TPU的“通用语言”。

2.Hugging Face：Transformers v5新增device_map="tpu"支持，Diffusers等工具链同步适配，主流模型仓库可一键上TPU。

3.vLLM（Inferact）：vLLM官方博客同日发布vLLM-TorchTPU后端，由Inferact与谷歌团队联合构建（双方于2026年9月宣布合作），基于TorchTPU技术栈，以Pallas内核实现注意力、MoE与量化矩阵乘（FP8、INT8、MXFP4等），推荐TPU v7x（Ironwood）规模部署，并支持序列并行、张量并行等维度。

4.SGLang（RadixArk）：SGLang-TorchTPU与SGLang开发商RadixArk联合构建，集成RadixAttention前缀复用，覆盖长上下文推理场景。

5.训练与推荐侧：TorchTitan（Meta训练框架）与TorchRec同步完成TPU适配，其中TorchRec的TPU后端由谷歌与Meta PyTorch团队合作直接贡献上游。

这意味着，全球使用最广的两大LLM推理框架（vLLM与SGLang）在开源当日即获得TPU后端，LLM推理负载“一键上TPU”从概念变成可运行的代码。

四、亚马逊的同步棋局：TorchNeuron与上游“芯片解耦”

谷歌并非唯一的进攻者。10月19日，亚马逊在官网发布公告，宣布开源TorchNeuron——面向AWS自研Trainium芯片（Trainium2/3）的原生PyTorch后端；10月20日，TorchNeuron在PyTorch大会上以公开测试版形式正式开源（Apache 2.0许可，随Neuron 2.33.0发布，GitHub仓库aws-neuron/torch-neuronx），PyTorch官方博客同步发布技术公告。

TorchNeuron与TorchTPU几乎同构：同样经PrivateUse1机制将Trainium注册为标准PyTorch设备，设备名为neuron（.to('cuda')改为.to('neuron')）；同样支持eager与torch.compile(backend="neuron")双模式；同样保留自定义算子能力——NKI（Neuron Kernel Interface）支持开发者编写高性能定制内核；分布式侧支持DDP、FSDP2、张量与序列并行、流水线并行等标准PyTorch API。

但亚马逊的布局比“开源一个后端”更远。亚马逊官方明确表示，公司正参与PyTorch上游开发，与社区合作移除PyTorch框架中与特定芯片绑定的代码，目标是推动PyTorch实现“硬件无关性”——即让框架本身不再偏袒任何芯片，各芯片厂商凭产品力竞争。这一“向上游解耦”的动作，与发布TorchNeuron本身同等重要。PyTorch官方博客也确认，AWS承诺为PyTorch的CI/CD基础设施提供Trainium资源，并持续贡献开源PyTorch项目。

背景数据：据亚马逊官方估算，约85%的AI研究者与开发者使用PyTorch进行开发。值得关注的是，在大会主题演讲“Trainium迈向原生PyTorch”中登台的主讲人Robert Hundt，正是谷歌TPU初代软件负责人，于2026年7月加入亚马逊。人才与技术的双向流动，让这场“软件解绑”竞赛更加微妙。

表2  谷歌TorchTPU 与 亚马逊TorchNeuron 对比

五、深度分析：CUDA护城河如何被“框架层”瓦解

英伟达CUDA生态的护城河，本质是“软硬深度绑定”：PyTorch长期默认针对CUDA优化，全球开发者沉淀在CUDA上的代码、算子库与工具链构成极高的迁移成本。据英伟达官方口径，CUDA诞生20周年之际已汇聚全球超600万开发者（英伟达开发者计划成员超750万），FY2026（截至2026年1月）营收达2159亿美元，创历史纪录。而TorchTPU与TorchNeuron的联合出现，正在从三个层面松动这座护城河：

1.框架层中立化，釜底抽薪。两条技术路线都建立在PyTorch的设备解耦机制（PrivateUse1、torch.accelerator）之上——先把“PyTorch只属于CUDA”的绑定解除，再让TPU、Trainium成为“平等的原生设备”。当框架成为中立层，CUDA从“唯一选项”退化为“选项之一”。

2.推理市场放量，性价比天平倾斜。AI推理已成为算力消耗主力，而推理负载对CUDA的依赖显著低于训练。行业测算显示，自研ASIC在推理场景的总拥有成本（TCO）优势明显：据36氪引述的行业测算，谷歌TPU相对英伟达B200的TCO优势约30%至41%；SemiAnalysis对Qwen3.5的独立评测显示，TPU上推理成本已低至2美分/百万token量级。当“改一行代码”即可切换硬件时，成本敏感的长尾推理需求将首先流向非CUDA平台。

3.云厂商“自研芯片+开源生态”双轮驱动。据行业报道，Anthropic于2025年10月与谷歌签下最高100万颗Ironwood TPU的多年期协议；据行业报道，已有超过30家早期客户测试TorchNeuron，覆盖语音AI、机器人、世界模型、分子设计等领域。开源原生PyTorch后端，本质是把自研芯片“塞进”全球开发者最熟悉的框架入口，以软件生态撬动硬件份额。

六、挑战与展望：松绑不等于取代

需要冷静看待的是，这次“合围”短期内并不会颠覆英伟达。其一，“迁移零门槛”是相对概念：官方展示的“改一行设备名”仅覆盖标准PyTorch算子路径，跨芯片迁移的隐性成本——算子边界行为差异、分布式sharding配置、性能调优与故障排查体系——依然存在，据行业测算，CUDA生态存量代码的迁移普遍需要6至12个月适配周期。其二，训练侧差距仍在：英伟达仍占据AI数据中心GPU市场90%以上份额，CUDA在超大集群训练、强化学习等场景的成熟度短期难以复制；TorchTPU官方也承认，FP8/FP4训练、强化学习、动态shape等仍处于前沿探索，极端性能场景仍依赖Pallas等底层编程（Helion DSL）。其三，英伟达不会坐视：凭借对PyTorch上游的长期投入、以及在新兴云厂商中的资本与供应绑定，英伟达正持续加固其生态纵深。

但方向已经明确：AI算力生态正从“单极绑定”走向“多极竞争”。TorchTPU与TorchNeuron的开源，标志着一个新阶段的开始——当开发者可以在不重写代码的前提下，在GPU、TPU、Trainium之间自由切换时，芯片厂商的竞争将从“锁定开发者”转向“赢得开发者”。这场由软件生态发起的“去CUDA化”运动，才刚刚拉开序幕。