Musk partage une image d’auto-dérision de la communauté IA :
Avant, on prouvait les théories
Maintenant, on empile juste des GPU
Il semblerait que d’ici 2028, le secteur des mémoires soit toujours maître du jeu
Musk a partagé une comparaison « AI then / AI now » et n’a commenté qu’un seul mot : « Accurate ? »
Sur l’image, dans le passé, les recherches en apprentissage automatique consistaient à concevoir des méthodes noyau, à prouver pourquoi les modèles étaient efficaces, et à construire des modèles probabilistes. À l’ère des grands modèles, il ne reste que trois étapes : rendre le Transformer plus grand, lui donner plus de données, puis ajouter encore plus de GPU — et le modèle devient encore plus fort, une fois de plus.
Voilà la réalité embarrassante de l’industrie des grands modèles : autrefois, on étudiait d’abord les principes, puis on concevait les modèles ; aujourd’hui, on agrandit souvent d’abord l’échelle, puis on cherche pourquoi les capacités apparaissent.