Musk teilt ein Meme zur Selbstironie aus der KI-Branche:
Früher bewies man Theorien, jetzt stapelt man nur noch GPUs
Sieht so aus, als ob 2028 immer noch die Zeit der Speicherbranche ist
Musk hat ein Vergleichsbild mit der Aufschrift „KI dann / KI jetzt“ weitergeleitet und nur ein Wort kommentiert: „Accurate ?“
Auf dem Bild: Früher mussten beim maschinellen Lernen Kernmethoden entworfen, begründet werden, warum Modelle funktionieren, und Wahrscheinlichkeitsmodelle aufgebaut werden. In der Ära der großen Modelle bestehen die Schritte nur noch aus drei Teilen: den Transformer größer machen, mehr Daten einspeisen und anschließend noch mehr GPUs hinzufügen – und das Modell wird wieder (und wieder) stärker.
Das ist die praktische Misere der Branche der großen Modelle: Früher forschte man erst an den Grundlagen und entwarf dann das Modell; heute skaliert man oft zuerst das Ganze und untersucht dann, warum die Fähigkeiten überhaupt erst auftauchen.