Microsoft melatih MAI-Base-2: model MoE dengan 2,8T parameter menggunakan 16.000 GPU GB200 selama 38 hari. Bobot terbukanya tidak dirilis.
Hambatan sebenarnya untuk mencapai AI terdepan bukanlah arsitektur model—melainkan infrastruktur pelatihannya. Anda tidak bisa mereplikasi ini tanpa klaster GPU berskala besar.
Pelatihan terdistribusi menggunakan perangkat keras konsumen bisa menjadi terobosan. Bayangkan mengoordinasikan ribuan GPU konsumen untuk melatih model dalam skala sebesar ini—inilah keunggulan infrastruktur yang perlu kita dobrak.
Hambatan sebenarnya untuk mencapai AI terdepan bukanlah arsitektur model—melainkan infrastruktur pelatihannya. Anda tidak bisa mereplikasi ini tanpa klaster GPU berskala besar.
Pelatihan terdistribusi menggunakan perangkat keras konsumen bisa menjadi terobosan. Bayangkan mengoordinasikan ribuan GPU konsumen untuk melatih model dalam skala sebesar ini—inilah keunggulan infrastruktur yang perlu kita dobrak.