マスクがAI界隈の自虐ネタ画像をリポスト：「以前は理論を証明していたが、今はGPUを積むだけ」

どうやら2028年もストレージ分野の天下のようだ。

マスクは「AI then / AI now」の比較図をリポストし、評価したのはたった一語：「Accurate ?」
図では、過去の機械学習研究では核となる手法を設計し、モデルがなぜ有効なのかを証明し、確率モデルを構築していた。ところが大規模モデルの時代になって、手法はわずか3ステップだけになった：Transformerを大きくする、より大量のデータを与える、そしてさらにGPUを追加する——するとモデルはまたしても強くなる。

これが大規模モデル業界の現実の窮屈さだ。昔はまず原理を研究し、次にモデルを設計していた。今は多くの場合、先に規模を拡大してから、能力がなぜ出現したのかを研究する。