Маск перепостил шутливую картинку из круга ИИ:
Раньше доказывали теорию, теперь просто наращивают GPU

Похоже, в 2028 году всё ещё будет царить сфера хранения

Маск перепостил картинку-подборку «AI then / AI now» и оценил её одним словом: «Accurate ?»
На картинке показано, что в прошлом исследования в области машинного обучения требовали разрабатывать ядерные методы, доказывать, почему модели работают, и строить вероятностные модели. В эпоху больших моделей методы сводятся всего к трём шагам: увеличить Transformer, скормить больше данных и добавить ещё больше GPU — и модель снова, ой как опять, становится сильнее.

Вот реальная дилемма индустрии больших моделей: раньше сначала изучали принципы, затем проектировали модель; теперь часто сначала масштабируют, а уже потом исследуют, почему у способности что-то появляется.