Der Wettbewerb auf dem KI-Chipmarkt verlagert sich von der Hardwareleistung zunehmend auf das Softwareökosystem. Meta und Google haben am 20. Oktober gemeinsam TorchTPU als Open-Source-Projekt angekündigt. Damit können Entwickler KI-Modelle direkt mit PyTorch auf Google-TPUs ausführen. Noch bemerkenswerter ist, dass Meta erstmals öffentlich bestätigt hat, Google-TPUs bereits in einer produktiven Umgebung für KI-Inferenz-Workloads einzusetzen. Das bedeutet, dass Googles selbst entwickelte Beschleuniger nicht mehr nur für eigene Produkte oder eine kleine Zahl von Partnern infrage kommen, sondern auch zunehmend Einzug in die KI-Infrastruktur großer Tech-Unternehmen halten.

Meta bestätigt: Google-TPUs sind im Produktivbetrieb und nicht mehr nur im experimentellen Einsatz

Diese Nachricht stammt aus einer technischen Ankündigung, die Google während der PyTorch Conference 2026 veröffentlichte. Google gab bekannt, dass TorchTPU, das gemeinsam mit Meta entwickelt wurde, als Open Source freigegeben wird. Gleichzeitig stellte das Unternehmen native Inferenz-Engines für vLLM und SGLang auf Basis von TorchTPU vor. Damit lassen sich Google-TPUs direkt in die derzeit führenden Frameworks für die Inferenz großer Sprachmodelle integrieren.

In einer gemeinsamen Ankündigung von Google und dem SGLang-Team wurde ausdrücklich darauf hingewiesen, dass SGLang-TorchTPU bereits in einer großen Produktionsumgebung von Meta eingesetzt wird.

Auch Zongwei Zhou, der bei Meta für PyTorch-TPU verantwortlich ist, bestätigte, dass das System das Ergebnis der engen Zusammenarbeit zwischen Meta, Google und SGLang ist. Es lässt sich bereits in Metas bestehende KI-Infrastruktur integrieren und erfüllt die Anforderungen fortschrittlicher KI-Workloads an Leistung, Zuverlässigkeit und Flexibilität.

Google und Meta veröffentlichen TorchTPU gemeinsam als Open Source

Der Vorsprung von Nvidia auf dem Markt für KI-Beschleuniger beruht seit Langem nicht nur auf der Rechenleistung der GPUs selbst, sondern auch auf dem vollständigen Software-Ökosystem rund um CUDA.

Mit Tools wie CUDA, cuDNN und TensorRT können Entwickler KI-Modelle optimieren. Zusammen mit der ausgereiften GPU-Unterstützung in Deep-Learning-Frameworks wie PyTorch macht dies Nvidia zur bevorzugten Wahl für das Training und die Inferenz von KI-Modellen. Selbst wenn andere Chips ein besseres Preis-Leistungs-Verhältnis oder eine höhere Energieeffizienz bieten, entscheiden sich Entwickler möglicherweise weiterhin für Nvidia-GPUs – wegen der Kosten für die Portierung, der Softwarekompatibilität und der technischen Komplexität.

Auch Google-TPUs standen in der Vergangenheit vor einem ähnlichen Problem. Obwohl Google TPUs seit Langem für KI-Workloads in Bereichen wie Suche und Werbung sowie für Gemini einsetzt, mussten Entwickler in der Regel JAX, TensorFlow oder eine spezielle PyTorch/XLA-Toolchain verwenden, um das volle Potenzial der TPUs auszuschöpfen.

TorchTPU soll diese Situation ändern. Laut einer offiziellen Ankündigung von PyTorch ist TorchTPU ein natives PyTorch-Backend für TPUs, das gemeinsam von Google und Meta entwickelt wurde. Damit werden TPUs zu einem von PyTorch unterstützten Rechengerät – wie GPUs und CPUs.

Dieses Design senkt die Hürden für die Portierung von Modellen von GPUs auf TPUs. Entwickler müssen also nicht den gesamten Entwicklungsprozess neu aufsetzen, um Google-Chips zu nutzen.

Laut PyTorch unterstützt TorchTPU bereits rund 450 ATen-Operatoren. Außerdem wurde bestätigt, dass die 5.000 meistgeladenen Modelle auf Hugging Face in dieser Umgebung ausgeführt werden können. Dazu gehören führende Modellfamilien wie Qwen, DeepSeek, Gemma und Llama.

vLLM und SGLang unterstützen TPUs umfassend – Google fordert Nvidia auf dem Inferenzmarkt heraus

Neben der nativen PyTorch-Unterstützung ist die Integration von Google-TPUs in zwei führende KI-Inferenz-Frameworks – vLLM und SGLang – eine weitere wichtige Neuerung der Ankündigung. Beide Frameworks werden umfassend für den Betrieb großer Sprachmodelle eingesetzt und bieten Funktionen wie Batchverarbeitung, KV-Cache-Verwaltung, spekulatives Decoding und verteilte Inferenz. Damit können KI-Anbieter eine große Zahl von Token-Anfragen kostengünstiger verarbeiten.

Bisher war das ausgereifte Ökosystem für Inferenzsoftware ein wichtiger Wettbewerbsvorteil von Nvidia-GPUs. Mit der nativen TPU-Unterstützung in vLLM und SGLang können Entwickler nun ihre vertrauten Modelle und Inferenz-Frameworks beibehalten und je nach Preis, Leistung und Verfügbarkeit verschiedene Chips auswählen.

Google zufolge laufen die beiden neuen Inferenz-Engines bereits in großen Produktionsumgebungen bei einigen Kunden aus dem Vorschauprogramm. Sie unterstützen mehrstufige Dialoge, lange Kontextfenster, Agent-Workloads, multimodale Modelle und groß angelegte verteilte Inferenz. Für Google bedeutet das, dass TPUs nun über ein umfassenderes externes kommerzielles Software-Ökosystem verfügen – und nicht mehr nur Hardware sind, die speziell für die Optimierung interner Google-Modelle entwickelt wurde.

Der Artikel „Meta setzt Google-TPUs ein! Gemeinsam TorchTPU als Open Source veröffentlicht – Nvidias CUDA-Burggraben gerät unter Druck“ erschien zuerst auf Chain News ABMedia.