企服科学：谷歌开源TorchTPU，CUDA的墙被从底下拆

10 月 20 日，谷歌宣布把 TorchTPU 在 GitHub 上开源。这是一个面向 TPU 的原生 PyTorch 框架：开发者只需要修改配置，就能把现有的 PyTorch 应用迁到 TPU，再迁到谷歌云，不用重写代码。

更值得注意的是时间点。就在前一天，亚马逊发布了 TorchNeuron，把 PyTorch 应用无痛移植到自家 Trainium 芯片和 AWS；同时宣布正在向 PyTorch 主项目提交代码，推动功能与英伟达芯片解耦。两家云厂商，48 小时内，同一个方向。

这不是两条产品新闻，这是一次针对 CUDA 的联合拆墙。

第一个问题：英伟达的护城河，到底是芯片还是代码

过去十年，答案一直很模糊。英伟达的 GPU 性能强，但真正把开发者锁住的不是性能，是 CUDA。你写的算子、调的性能、踩过的坑，全都长在这套软件栈上。换芯片意味着重写、重调、重新验证，这个成本高到大多数团队连试都不会试。

PyTorch 的出现改变了一半。据统计，85% 的 AI 应用基于 PyTorch 构建。它 2016 年由 Meta 开发，2022 年移交给 Linux 基金会。理论上，框架层是抽象的，底层跑什么硬件应该由编译器决定。但现实是，PyTorch 诞生时英伟达 GPU 已经是研究界的标准硬件，它的很多功能天然贴着 CUDA 长。

所以真正的锁不在框架，在“框架到硬件”的那一层适配。谷歌和亚马逊现在做的，就是把这一层开源、标准化、变成公共品。一旦 PyTorch 应用改个配置就能跑在 TPU 或 Trainium 上，CUDA 的锁定就从“技术壁垒”降级为“迁移成本”。迁移成本可以用工具和时间解决，技术壁垒不能。

第二个问题：为什么是现在

因为算力的主战场从训练转向了推理。

训练是少数头部实验室的游戏，拼的是峰值性能、互联带宽、集群稳定性，客户对生态的容忍度极高——只要能训出模型，多写点 CUDA 代码不算什么。推理不一样。推理是成千上万家企业每天在跑的账单，拼的是单位 Token 成本、延迟、利用率。这个市场对“换硬件”极其敏感，因为省下来的每一分钱都直接进利润表。

SEMI 中国的预测是，2026 年全球 AI 基础设施支出将达 4500 亿美元，推理算力占比首次超过 70%。当七成的算力花在推理上，“只能跑在英伟达上”就从优势变成了成本项。

谷歌和亚马逊看得很清楚：它们不需要说服开发者放弃英伟达，只需要让“不用英伟达”这件事变得足够简单。开源工具链就是那把钥匙。开发者不会为了信仰迁移，但会为了省下三成账单迁移。

第三个问题：这对中国算力意味着什么

这是最容易被忽略、也最该被认真对待的一层。

过去几年，国产 AI 芯片最大的痛点不是峰值算力，是软件栈。客户买回去，模型跑不起来、算子不支持、性能打对折，最后只能当推理卡用，或者干脆闲置。大家常说“生态需要时间”，但生态的本质是什么？是开发者愿不愿意为你的硬件改代码。

PyTorch 与硬件解耦，等于把这道门槛往下压了一截。如果主流框架原生支持多种后端，国产芯片的适配工作就从“说服客户重写”变成“提供高质量的算子库和编译器”。这是工程问题，不是生态问题；工程问题可以靠投入和时间解决。

但窗口不会一直开着。谷歌、亚马逊已经在往 PyTorch 主项目提交代码，标准是谁写的，接口就按谁的来。中国厂商如果只是“适配别人的标准”，那永远在追赶；如果能把自己的算子、精度格式、通信库贡献进上游，才有机会在标准里留下位置。

还有一个更现实的提醒：软件解耦只解决了“能不能跑”，没解决“跑得好不好”。同样一张卡，推理吞吐可能差一倍，稳定性可能差一个数量级。客户最终买的不是“兼容 PyTorch”，是“在我的业务上更便宜、更稳”。这一层的竞争，比适配残酷得多。

历史对照：谷歌这次学乖了

有意思的是，谷歌在框架这件事上曾经输过一次。

TensorFlow 一度是深度学习的事实标准，但它封闭、上手复杂，最后被更开放的 PyTorch 反超。那一次，谷歌输在“想让所有人用我的方式”。这一次，它把 TorchTPU 开源，拉上 Meta、Hugging Face、vLLM 的 Inferact、SGLang 的 RadixArk 一起做兼容，还推出 TPU 智能体套件帮开发者排错。

同一家公司，两种打法。区别在于，上一次它想赢框架，这一次它只想赢硬件。放弃控制权，换生态入场券，这是很成熟的取舍。

亚马逊的动作更直白：它没有自己的框架野心，它只要 Trainium 卖得出去。所以它直接往 PyTorch 主项目里塞代码，把“去英伟达化”做成社区公共工程。这种打法不性感，但很难被逆转。