Musk reenvía una imagen de autocrítica del círculo de la IA:
Antes probabas teorías; ahora solo te dedicas a amontonar GPUs
Parece que en 2028 todavía reinará el sector de almacenamiento
Musk reenviò una imagen comparativa de «IA entonces / IA ahora» y solo comentó una palabra: «¿Accurate?». En la imagen, en el pasado las investigaciones en aprendizaje automático tenían que diseñar métodos kernel, demostrar por qué los modelos funcionaban y construir modelos probabilísticos. En la era de los grandes modelos, los métodos se reducen a tres pasos: hacer más grande el Transformer, darle más datos y, después, añadir más GPUs; el modelo vuelve a volverse cada vez más fuerte.
Esta es la cruda realidad del sector de los grandes modelos: antes primero se investigaban los principios y luego se diseñaba el modelo; ahora muchas veces primero se escala el tamaño y luego se estudia por qué aparecen capacidades.