【Das größte Rechenleistungs-Schwarze-Loch in GPU-Clustern mit Zehntausenden Karten: Warum fließen 80 % der Stromkosten globaler großer KI-Modelle in die Berechnung von 0 mal 0?】
Der aufstrebende KI-Chiphersteller Mo芯人工智能 aus Shenzhen hat gerade eine C+-Finanzierungsrunde über fast 1 Milliarde Yuan abgeschlossen und in nur sechs Monaten in zwei Runden fast 2 Milliarden Yuan eingesammelt! Damit haben sie eine der verborgensten Wunden der globalen Recheninfrastruktur offengelegt – die „Zero-Value Compute Tax“ (Steuer auf Berechnungen mit Nullwerten).
Das menschliche Gehirn hat 86 Milliarden Neuronen, aber bei jedem Denkprozess werden nur 1 bis 2 % davon durch elektrische Impulse aktiviert – bei einer Leistungsaufnahme von gerade einmal 20 Watt. Herkömmliche GPUs basieren dagegen auf einer dichten Rechenarchitektur, die ursprünglich für das Rendern von 3D-Spielen entwickelt wurde: Selbst wenn bei der Inferenz eines großen Modells mit Hunderten Milliarden Parametern mehr als 80 % der Gewichte und Aktivierungswerte gleich 0 sind, muss eine herkömmliche GPU jedes einzelne 0-mal-X in die Register laden und berechnen. So werden riesige Mengen an Speicherbandbreite und Strom schlicht verschwendet!
Die von Mo芯 entwickelte Antoum-Architektur führt erstmals einen dualen Sparsifizierungsalgorithmus ein (statische Sparsifizierung der Gewichte + dynamische Sparsifizierung der Aktivierungen). Sie überspringt direkt auf Siliziumebene alle überflüssigen Berechnungen mit Nullwerten, unterstützt eine Sparsität von bis zu 32-fach und liefert bei einer Leistungsaufnahme von nur 300 Watt eine äquivalente Rechenleistung von 3774 TOPS.
Auch für Web3 und dezentrale DePIN-Rechennetzwerke ist das ein bedeutender Wendepunkt: Wenn KI-Agenten in eine Ära hochfrequenter, autonomer On-Chain-Interaktionen rund um die Uhr eintreten, entscheidet nicht mehr, wer die teureren Grafikkarten stapelt, sondern wer mithilfe sparsamer Berechnungen die Kosten für die Inferenz eines einzelnen Tokens um eine Größenordnung senken kann! Glaubst du, dass architektonische Innovationen das Rechenleistungsmonopol durchbrechen können?
#BTC #Crypto #AI #Web3
Der aufstrebende KI-Chiphersteller Mo芯人工智能 aus Shenzhen hat gerade eine C+-Finanzierungsrunde über fast 1 Milliarde Yuan abgeschlossen und in nur sechs Monaten in zwei Runden fast 2 Milliarden Yuan eingesammelt! Damit haben sie eine der verborgensten Wunden der globalen Recheninfrastruktur offengelegt – die „Zero-Value Compute Tax“ (Steuer auf Berechnungen mit Nullwerten).
Das menschliche Gehirn hat 86 Milliarden Neuronen, aber bei jedem Denkprozess werden nur 1 bis 2 % davon durch elektrische Impulse aktiviert – bei einer Leistungsaufnahme von gerade einmal 20 Watt. Herkömmliche GPUs basieren dagegen auf einer dichten Rechenarchitektur, die ursprünglich für das Rendern von 3D-Spielen entwickelt wurde: Selbst wenn bei der Inferenz eines großen Modells mit Hunderten Milliarden Parametern mehr als 80 % der Gewichte und Aktivierungswerte gleich 0 sind, muss eine herkömmliche GPU jedes einzelne 0-mal-X in die Register laden und berechnen. So werden riesige Mengen an Speicherbandbreite und Strom schlicht verschwendet!
Die von Mo芯 entwickelte Antoum-Architektur führt erstmals einen dualen Sparsifizierungsalgorithmus ein (statische Sparsifizierung der Gewichte + dynamische Sparsifizierung der Aktivierungen). Sie überspringt direkt auf Siliziumebene alle überflüssigen Berechnungen mit Nullwerten, unterstützt eine Sparsität von bis zu 32-fach und liefert bei einer Leistungsaufnahme von nur 300 Watt eine äquivalente Rechenleistung von 3774 TOPS.
Auch für Web3 und dezentrale DePIN-Rechennetzwerke ist das ein bedeutender Wendepunkt: Wenn KI-Agenten in eine Ära hochfrequenter, autonomer On-Chain-Interaktionen rund um die Uhr eintreten, entscheidet nicht mehr, wer die teureren Grafikkarten stapelt, sondern wer mithilfe sparsamer Berechnungen die Kosten für die Inferenz eines einzelnen Tokens um eine Größenordnung senken kann! Glaubst du, dass architektonische Innovationen das Rechenleistungsmonopol durchbrechen können?
#BTC #Crypto #AI #Web3
