​🚨​🚨 オックスフォード大学とケンブリッジ大学の研究者らが発表し、Natureに掲載された論文が、その現象に名前をつけた。「モデル崩壊」だ。
仕組みはシンプル。モデルを訓練する。文章を書かせる。その文章で次のモデルを訓練する。それを繰り返す。
世代を重ねるごとに、データの幅は狭まっていく。まず消えるのは分布の裾野だ。珍しい事実、風変わりな言い回し、人間にしか書けないようなもの。最後に残るのは平均的なもの。次のモデルはその平均を学ぶ。これを何度も繰り返しても、より賢いシステムができるわけではない。流暢にオウム返しするだけのモデルができあがる。
これは、ひとつのチャットボットが失敗するという話ではない。著者らは、さまざまな生成モデルの設定でこの現象を示している。ウェブが機械生成の文章で埋まり、その文章が訓練データになれば、次のモデルが学ぶのは世界ではない。自分自身だ。
研究機関はすでにこのことを知っている。だから今も、人間が作成したデータやライセンス、閉鎖型フォーラムにお金を払っている。もはや希少な投入資源はGPUではない。質の高い、オリジナルの文章だ。
つまり、AI投資にはふたつの時計がある。ひとつは信用——建物と20年契約。もうひとつはデータの食生活だ。設備投資では、分布の裾野は生み出せない。
どちらの時計が先に時を告げるか、注目してほしい。
投資助言ではありません。