【Warum ist Marl innerhalb von zwei Tagen um einen halben Ether-Marktwert gestiegen? Eine Lektüre, um zu verstehen, was ‚Lao Huang‘ sagt: Das nächste Flaschenhals-Kriterium für AI-Rechenzentren ist connectivity / interconnect – also Vernetzung, optische Vernetzung, Switching und maßgeschneiderte XPU】
1. connectivity /interconnect = Vernetzung (der Kern des gesamten Flaschenhalses)
Beim Training großer AI-Modelle arbeitet nicht nur eine einzelne GPU; erst wenn Hunderte oder Tausende GPUs zu einem Cluster gebündelt sind, ergibt das Sinn.
Die Rechenleistung kommt von GPU/XPU, die Datenübertragung erfolgt über die Vernetzungsleitungen hin und her.
Früher war der Flaschenhals: GPUs reichten nicht aus, oder die Chip-Performance war zu schwach.
Heute ist der Flaschenhals: Daten zwischen den GPUs sind zu langsam, das Netzwerk staut sich → also ein Vernetzungsflaschenhals.
2. Optische Vernetzung (Optikmodule)
Traditionell überträgt man Datensignale über elektrische Kabel – die erreichbare Obergrenze ist niedrig und die Wärmeentwicklung ist hoch;
Optische Vernetzung bedeutet: Man überträgt Daten mittels Licht in Glasfasern. Das ist heute die einzige Lösung für Hochgeschwindigkeits-Vernetzung in Supercomputern / AI-Rechenzentren:
Zwischen Server und Switch werden Optikmodule eingesetzt, und für das großskalige Vermaschungsnetz eines AI-Clusters ist das praktisch alles davon abhängig.
Je mehr Rechenleistung man stapelt, desto stärker steigt die Nachfrage nach Optikmodulen, und die Spezifikationen entwickeln sich rasant – es ist ein Muss-Flaschenhals.
3. Switching (Switches)
Als Analogie: zu Hause gibt es einen Router. Doch im Rechenzentrum nutzt man riesige 10-Gigabit-/100-Gigabit-Switches:
Die Daten aller GPUs werden gebündelt und über die Switches weitergeleitet. Bei der riesigen Daten-Durchsatzrate von AI steigen die Anforderungen an Switch-Bandbreite und Latenz explosionsartig.
Wenn die Switches nicht mithalten, läuft auch mit noch so vielen GPUs nichts „richtig“, die Rechenleistung kann nicht voll ausgelastet werden.
4. Maßgeschneiderte XPU
GPU: universelle Grafikkarten von Nvidia
XPU: verschiedenartig maßgeschneiderte Spezialchips für dedizierte Rechenleistung (DPU/TPU/ASIC usw.)
Um die Probleme mit überlasteter Vernetzung zu lösen, stapeln Hersteller heute nicht mehr nur noch generische GPUs:
Man baut DPU (Datenprozessoren): Sie übernehmen gezielt Netzwerk-Vernetzungsaufgaben und befreien die GPU von Senden/Empfangen, sodass sie sich ganz auf das Rechnen von AI konzentrieren kann;
Man entwickelt eigene TPU/ASICs mit maßgeschneiderten Chips und integriert in den Chips direkt Hochgeschwindigkeits-Interconnect-Schnittstellen;
Mit maßgeschneiderten Chips optimiert man die Effizienz der Vernetzung auf der Hardware-Ebene.
1. connectivity /interconnect = Vernetzung (der Kern des gesamten Flaschenhalses)
Beim Training großer AI-Modelle arbeitet nicht nur eine einzelne GPU; erst wenn Hunderte oder Tausende GPUs zu einem Cluster gebündelt sind, ergibt das Sinn.
Die Rechenleistung kommt von GPU/XPU, die Datenübertragung erfolgt über die Vernetzungsleitungen hin und her.
Früher war der Flaschenhals: GPUs reichten nicht aus, oder die Chip-Performance war zu schwach.
Heute ist der Flaschenhals: Daten zwischen den GPUs sind zu langsam, das Netzwerk staut sich → also ein Vernetzungsflaschenhals.
2. Optische Vernetzung (Optikmodule)
Traditionell überträgt man Datensignale über elektrische Kabel – die erreichbare Obergrenze ist niedrig und die Wärmeentwicklung ist hoch;
Optische Vernetzung bedeutet: Man überträgt Daten mittels Licht in Glasfasern. Das ist heute die einzige Lösung für Hochgeschwindigkeits-Vernetzung in Supercomputern / AI-Rechenzentren:
Zwischen Server und Switch werden Optikmodule eingesetzt, und für das großskalige Vermaschungsnetz eines AI-Clusters ist das praktisch alles davon abhängig.
Je mehr Rechenleistung man stapelt, desto stärker steigt die Nachfrage nach Optikmodulen, und die Spezifikationen entwickeln sich rasant – es ist ein Muss-Flaschenhals.
3. Switching (Switches)
Als Analogie: zu Hause gibt es einen Router. Doch im Rechenzentrum nutzt man riesige 10-Gigabit-/100-Gigabit-Switches:
Die Daten aller GPUs werden gebündelt und über die Switches weitergeleitet. Bei der riesigen Daten-Durchsatzrate von AI steigen die Anforderungen an Switch-Bandbreite und Latenz explosionsartig.
Wenn die Switches nicht mithalten, läuft auch mit noch so vielen GPUs nichts „richtig“, die Rechenleistung kann nicht voll ausgelastet werden.
4. Maßgeschneiderte XPU
GPU: universelle Grafikkarten von Nvidia
XPU: verschiedenartig maßgeschneiderte Spezialchips für dedizierte Rechenleistung (DPU/TPU/ASIC usw.)
Um die Probleme mit überlasteter Vernetzung zu lösen, stapeln Hersteller heute nicht mehr nur noch generische GPUs:
Man baut DPU (Datenprozessoren): Sie übernehmen gezielt Netzwerk-Vernetzungsaufgaben und befreien die GPU von Senden/Empfangen, sodass sie sich ganz auf das Rechnen von AI konzentrieren kann;
Man entwickelt eigene TPU/ASICs mit maßgeschneiderten Chips und integriert in den Chips direkt Hochgeschwindigkeits-Interconnect-Schnittstellen;
Mit maßgeschneiderten Chips optimiert man die Effizienz der Vernetzung auf der Hardware-Ebene.