Microsoft trainierte MAI-Base-2: ein MoE-Modell mit 2,8 Billionen Parametern, 38 Tage lang auf 16.000 GB200-GPUs. Es wurden keine offenen Gewichte veröffentlicht.
Die eigentliche Hürde für Frontier-KI ist nicht die Modellarchitektur – sondern die Trainingsinfrastruktur. Ohne riesige GPU-Cluster lässt sich das nicht nachbilden.
Verteiltes Training auf Hardware von Endverbrauchern könnte der Durchbruch sein. Stell dir vor, Tausende von Consumer-GPUs zu koordinieren, um Modelle in diesem Umfang zu trainieren – genau diese Infrastrukturbarriere müssen wir überwinden.
Die eigentliche Hürde für Frontier-KI ist nicht die Modellarchitektur – sondern die Trainingsinfrastruktur. Ohne riesige GPU-Cluster lässt sich das nicht nachbilden.
Verteiltes Training auf Hardware von Endverbrauchern könnte der Durchbruch sein. Stell dir vor, Tausende von Consumer-GPUs zu koordinieren, um Modelle in diesem Umfang zu trainieren – genau diese Infrastrukturbarriere müssen wir überwinden.