Nvidias Dominanz im Bereich des Computing für künstliche Intelligenz beruhte noch nie allein auf GPUs.
Seit mehr als einem Jahrzehnt baut das Unternehmen ein Software-Ökosystem rund um CUDA auf, das Entwicklern die Nutzung, Optimierung und Bereitstellung seiner Hardware in großem Maßstab erleichtert. Dieser Softwarevorsprung hat sich zu einer der stärksten Schutzbarrieren entwickelt, die Nvidia vor Konkurrenten abschirmen, die in den Markt für KI-Beschleuniger einsteigen wollen.
Jetzt greifen Google und Amazon diese Barriere direkt an.
Beide Unternehmen haben neue Open-Source-Tools vorgestellt, mit denen Entwickler PyTorch-Workloads auf ihren eigenen KI-Prozessoren natürlicher ausführen können. Google hat TorchTPU für seine Tensor Processing Units veröffentlicht, während Amazon Web Services TorchNeuron für seine Trainium-Chips eingeführt hat.
Das Ziel ist klar: Der Wechsel weg von Nvidia-Hardware soll deutlich weniger schmerzhaft werden.
Google öffnet TorchTPU für PyTorch-Entwickler
Google gab am 20. Oktober bekannt, dass TorchTPU nun Open Source ist und native PyTorch-Unterstützung für seine TPU-Infrastruktur bietet.
PyTorch ist eines der am weitesten verbreiteten Frameworks für die Entwicklung und Bereitstellung von Modellen künstlicher Intelligenz. Daher wird Kompatibilität für jedes Unternehmen, das mit Nvidia konkurrieren möchte, immer wichtiger.
Google zufolge können bestehende PyTorch-Workloads mit minimalen Codeänderungen auf TPUs ausgeführt werden, wobei vertraute APIs und Entwicklungstools erhalten bleiben.
TorchTPU lässt sich außerdem in weit verbreitete KI-Software wie Hugging Face, vLLM, SGLang, Ray und TorchTitan integrieren.
Für Entwickler ist die Bedeutung dieser Veränderung nicht nur technischer Natur.
Die Übertragung eines bestehenden Machine-Learning-Workloads von einem Hardware-Ökosystem auf ein anderes erforderte traditionell Entwicklungsarbeit, Kompatibilitätstests und Optimierungen. Diese Umstellungskosten tragen zur Bindung an eine bestimmte Hardware bei.
Google versucht, diese Hürden abzubauen.
Wenn Entwickler Modelle zwischen GPUs und TPUs verschieben können, ohne große Teile ihres Software-Stacks neu aufzubauen, richtet sich die Hardwarewahl stärker nach Preis, Verfügbarkeit und Leistung – und nicht mehr allein nach der Softwarekompatibilität.
Amazon verfolgt mit TorchNeuron einen ähnlichen Ansatz
Amazon Web Services verfolgt mit TorchNeuron nahezu genau dieselbe Strategie.
AWS hat die öffentliche Betaversion von TorchNeuron als Open-Source-Backend für native PyTorch-Unterstützung seiner Trainium-Familie von KI-Beschleunigern veröffentlicht.
AWS zufolge können Entwickler PyTorch-Code auf Trainium übertragen, indem sie eine Konfiguration ändern, statt ihre Modelle für ein separates Framework umzuschreiben.
TorchNeuron unterstützt die standardmäßigen PyTorch-APIs, eager execution und torch.compile. Außerdem können Entwickler Workloads gezielt für Trainium-Hardware optimieren.
Die Software unterstützt derzeit Amazon-EC2-Instanzen mit Trainium2- und Trainium3-Chips.
Das ist wichtig, weil AWS stark in eigene Prozessoren investiert hat, um nicht seine gesamte KI-Rechenkapazität von externen Chipherstellern beziehen zu müssen.
Trainium gibt Amazon mehr Kontrolle über die Kostenstruktur seiner Cloud-Infrastruktur. Um Kunden zur Nutzung dieser Prozessoren zu bewegen, reicht wettbewerbsfähige Hardware jedoch nicht aus.
Entwickler brauchen Software, die sich in ihre bestehenden Arbeitsabläufe einfügt.
TorchNeuron soll diese Lücke schließen.
Warum PyTorch im Wettbewerb um KI-Chips so wichtig ist
Der Wettbewerb im Bereich KI-Hardware wird zunehmend zu einem Softwarewettbewerb.
Nvidia hat über Jahre dafür gesorgt, dass CUDA tief in die Entwicklung von Machine-Learning-Anwendungen eingebunden ist. Bibliotheken, Optimierungstools und Fachwissen der Entwickler haben sich alle um dieses Ökosystem herum entwickelt.
Dadurch entstehen sogenannte Wechselkosten.
Ein konkurrierender Beschleuniger kann theoretisch attraktive Leistung oder niedrigere Kosten bieten. Unternehmen entscheiden sich möglicherweise dennoch für Nvidia, wenn die Übertragung ihrer Workloads wochenlange Entwicklungsarbeit erfordert.
Native PyTorch-Unterstützung verändert diese Gleichung.
Google und Amazon versuchen beide, ihre Hardware weniger wie eine separate Plattform und mehr wie ein weiteres Zielgerät in einer vertrauten PyTorch-Umgebung wirken zu lassen.
Für große KI-Unternehmen mit enormen Workloads kann selbst eine vergleichsweise kleine Verbesserung der Hardwareflexibilität erhebliche finanzielle Folgen haben.
Anstatt jeden Workload einer einzigen Beschleunigerarchitektur anzuvertrauen, könnten Unternehmen verschiedene Modelle jeweils auf die Infrastruktur verlagern, die zu diesem Zeitpunkt die günstigsten Bedingungen bietet.
Nvidias CUDA-Burggraben steht vor einer anderen Art von Wettbewerb
Nvidia verfügt weiterhin über bedeutende Vorteile.
Seine GPUs sind nach wie vor bei KI-Training und Inferenz weit verbreitet. Das CUDA-Ökosystem umfasst zudem jahrelang optimierte Software, Dokumentation und Entwicklerwissen.
Google und Amazon werden Nvidias Softwarevorsprung daher wohl kaum über Nacht beseitigen.
Doch die Art des Wettbewerbs verändert sich.
In der Vergangenheit versuchten Herausforderer häufig, Nvidia vor allem mit Hardware-Spezifikationen zu übertreffen. Heute erkennen Hyperscaler zunehmend, dass wettbewerbsfähige Chips allein nicht ausreichen.
Sie müssen auch den Umstieg erleichtern.
Reuters berichtete zuvor, dass Amazons TorchNeuron die Anzahl der Schritte verringern soll, die Entwickler vor dem Testen von Trainium ausführen müssen. Google arbeitet derweil daran, seine TPUs für Entwickler zugänglicher zu machen, die bereits PyTorch verwenden.
Damit wird die Entwicklererfahrung zu einem strategischen Vorteil.
KI-Inferenz könnte die Wahl der Hardware wichtiger machen
Der Zeitpunkt ist besonders wichtig, da der KI-Markt über das Training riesiger Basismodelle hinauswächst.
Inferenz – also der tatsächliche Betrieb von KI-Systemen und die Bearbeitung von Nutzeranfragen – wird zu einem immer wichtigeren Bestandteil der Rechnernachfrage.
Inferenz-Workloads können sich in Größe, Latenzanforderungen und Kostensensibilität stark unterscheiden.
Das schafft Chancen für alternative Prozessoren.
Ein Unternehmen, das ein Spitzenmodell trainiert, legt möglicherweise größten Wert auf maximale Leistung und ein ausgereiftes Software-Ökosystem. Ein Unternehmen, das Millionen kleinerer Inferenzanfragen bearbeitet, könnte stärker auf die Kosten pro Token, den Energieverbrauch oder die Verfügbarkeit von Infrastruktur achten.
Je vielfältiger die KI-Workloads werden, desto schwieriger könnte es für eine einzelne Chiparchitektur sein, alle Anwendungsfälle zu dominieren.
Das ist ein Grund dafür, dass große Technologieunternehmen eigene Beschleuniger entwickeln.
Google hat TPUs.
Amazon hat Trainium.
Meta hat seine MTIA-Prozessoren entwickelt.
Auch andere KI-Unternehmen prüfen maßgeschneiderte Chips, während die Ausgaben für Infrastruktur weiter steigen.
Nvidia bleibt Marktführer, doch die Branche bewegt sich auf eine heterogenere Computerumgebung zu.
Open Source könnte den Wandel beschleunigen
Ein weiterer bemerkenswerter Aspekt von TorchTPU und TorchNeuron ist, dass beide als Open-Source-Software veröffentlicht werden.
Dadurch erhalten Entwickler bessere Einblicke in die Tools, und Beiträge von außen werden möglich.
Das könnte Google und Amazon auch dabei helfen, Unternehmen zu versichern, dass die Nutzung ihrer Hardware nicht automatisch bedeutet, in einem weiteren geschlossenen Software-Ökosystem gefangen zu sein.
AWS zufolge können mit Trainium trainierte Modelle als standardisierte Checkpoints gespeichert und auf andere unterstützte Hardware übertragen werden.
Auch Google positioniert TorchTPU mit Blick auf die Wahl der Hardware und die Kompatibilität mit bestehenden KI-Tools.
Diese Positionierung ist wichtig.
Entwickler werden Hardwarevielfalt wohl kaum begrüßen, wenn der Wechsel von Nvidia lediglich eine Form der Abhängigkeit durch eine andere ersetzt.
Indem sie PyTorch-Kompatibilität und offene Tools betonen, stellen die Hyperscaler maßgeschneiderte Beschleuniger stattdessen als austauschbare Infrastruktur dar.
Was das für KI-Entwickler bedeutet
Für KI-Teams könnte der zunehmende Hardwarewettbewerb letztlich mehr Auswahl bedeuten.
Entwickler könnten Nvidia-GPUs, Google-TPUs und AWS-Trainium anhand der Eigenschaften einzelner Workloads vergleichen, statt aufgrund von Softwareabhängigkeiten gezwungen zu sein, bei einer Plattform zu bleiben.
Das könnte sich auswirken auf:
Kosten für KI-Training
Preise für Inferenz
Verfügbarkeit von Cloud-Infrastruktur
Energieeffizienz
Flexibilität bei der Bereitstellung
Verhandlungsmacht gegenüber Cloud-Anbietern
Das könnte auch zu aggressiveren Preisen führen, wenn Hyperscaler versuchen, Workloads auf ihre proprietäre Hardware zu ziehen.
AWS argumentiert bereits, dass Trainium bei bestimmten KI-Workloads attraktive Kostenvorteile bieten kann, während Google die Verfügbarkeit von TPUs über Google Cloud weiter ausbaut.
Je einfacher diese Chips zu nutzen sind, desto überzeugender wirken solche Aussagen auf Entwickler, die Alternativen prüfen.
Können Google und Amazon Nvidia wirklich gefährlich werden?
Nvidia wird seine Position kaum allein deshalb verlieren, weil Wettbewerber die PyTorch-Kompatibilität verbessern.
Die Roadmap seiner Hardware, seine Softwarebibliotheken und seine Entwickler-Community bleiben bedeutende Wettbewerbsvorteile.
Google und Amazon müssen Nvidia jedoch möglicherweise gar nicht ersetzen, um den Markt zu verändern.
Schon ein größerer Anteil der Workloads auf ihren eigenen Cloud-Plattformen würde ihre Abhängigkeit von Nvidia-Hardware verringern und einen bedeutenden Wettbewerb im Bereich der KI-Infrastruktur schaffen.
Noch wichtiger ist, dass dadurch die Annahme infrage gestellt wird, KI-Entwickler müssten sich auf ein einziges Hardware-Ökosystem festlegen.
In der nächsten Phase des Wettbewerbs um KI-Chips könnte daher die Software-Portabilität ebenso entscheidend sein wie die reine Prozessorleistung.
Googles TorchTPU und Amazons TorchNeuron sind frühe Beispiele für diesen Wandel.
Für Nvidia zeichnet sich die Herausforderung durch den Wettbewerb immer deutlicher ab: Die Konkurrenten versuchen nicht mehr nur, bessere Chips zu bauen.
Sie versuchen, den Abschied von Nvidia zu erleichtern.
Haftungsausschluss: Dieser Artikel dient ausschließlich Informationszwecken. Er stellt keine Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung dar und ist nicht als solche gedacht.