静かな小さな箱が一台。メモリは512GBで、6,700億パラメータのモデルを載せられるのに、消費電力は本体全体で200ワット未満。Appleは今年、この構成を店頭からひっそり引っ込めた。
撤去するときも、何も言わなかった。最上位モデルは512GBから256GBに戻され、倉庫に残ったのはこの構成だけ。残りの在庫は販売店が値上げして売り、2万ドルを提示するところまで出た。以上。
一晩考えてみた。高いのは一面にすぎない。今回のAIハードウェア競争で比べられているのは、そもそも計算の速さじゃない。まず、載せられるかどうかだ。
6,700億パラメータのモデルを4ビット精度にすると、重みだけで448GBを占める。この448GBは、演算ユニットに最も近いメモリ層に置いておかなければならない。少しくらい遅くても我慢できる。載せられなければ、エラーが一行出るだけ。本当に。一行だけ。それで何も起きない。
NVIDIAの最も高価なコンシューマー向けカードでも、VRAMは32GB。どんな価格帯のカードでもそこは超えられない。448GBをそろえようと思ったら、カードを8枚つなぐ必要がある。各層の計算が終わるたびに、次の層を取りに戻る。その行き来が全部あのバスに詰まり、カードを何枚増やしても、ただ待つだけ。何の意味もない。電気メーターはぐんぐん回り、時間は待ち行列に吸い取られる。実測では、そうやって動かしても毎秒2トークンにも届かず、本体全体で400ワット超。あの小さな箱は毎秒17〜18トークンで、200ワット以内だ。
速いか遅いかはその次。まず動かせるかどうかだ。
もちろん弱点もある。1万6,000字の長文書を読み込ませると、最初の一文字が出るまで10分かかる。なぜ遅いと思う？長文書を読む処理は、メモリ帯域だけで無理やり支えているから。処理しきれない。短い会話なら問題なく、30秒以内に話し始める。だからこれは、大きなモデルを載せる仕事には向いているが、同時処理を大量にこなす用途には向かない。
じゃあ、なぜ撤去したのか。メモリのせいだ。
HBMを1GB作るには、DDR5の3GB分に相当するウェハ面積を使う。HBMの粗利益率は60％、コンシューマー向けメモリは20〜30％。世界の生産量の95％を3社が握り、生産能力はどんどんHBMに振り向けられている。今年、世界全体のDRAMウェハ生産能力の純増は1ポイント。たった1ポイント。焼け石に水だ。
その結果が価格だ。16GBのDDR4は、2024年末には3.2ドルだったのが、去年の年末には62ドルになった。あの頃にメモリを買いだめした人は、今ごろ笑いが止まらない。サーバー向けメモリの契約価格は今年の第2四半期にさらに50％上がった。上がらないわけがない。HPによると、ノートPCの部品コストに占めるメモリの割合は、1年前は15〜18％だったのが、今は35％。NVIDIAのあの小型マシンも、3,999ドルから4,699ドルに値上がりした。値上がりの原因はメモリで、チップはほとんど関係ない。
今回の影響はデータセンターだけだと思っている人は多い。実際には、次に買うパソコンやスマホの請求額に、もう反映されている。ただ、まだ請求が届いていないだけだ。
グラフィックカードのマイニングが盛んだった頃、同じ壁をめぐって一度、同じような値上がりが起きた。
Ethereum Classicが使っているのは、当時と同じアルゴリズムだ。DAGというファイルがあり、数万ブロックごとに大きくなり、その全体をVRAMに載せなければならない。載せられないと、マイニング機は「Allocation failed」とエラーを出す。つまり、載せられないということ。今年の10月1日、このファイルは46億3,000万バイトに達した。4GBのカードではとっくに足りず、5GBがようやくスタートラインだ。
4GBのカードの中にも、計算性能は決して悪くないものがあった。それでも容量不足で、死刑宣告を受けた。当時は納得しない人も多く、もう少し最適化すればまだ掘れると思っていた。だが、最適化の余地はとっくになくなっていた。ファイルサイズは最適化とは関係ない。どうやっても載らない。
同じ壁が、6年後にAIの世界にやってきた。今度値上がりしているものは、名前を変えて「メモリ」と呼ばれている。
分散型コンピューティングネットワークがここ2年売り込んできたのは、使われていないグラフィックカードを集めれば、クラウドより安くなるという話だ。この話が当てはまるのは半分だけ。半分にも満たない。集められるのはカードの枚数で、1枚あたりの容量は集められない。24GBのカードを100枚並べたら、448GBのモデルを載せられるか？載せられない。こうしたネットワークで受けられる仕事には上限があり、その幅は各カードのVRAM容量で決まる。カードの枚数が多くても、載せられるとは限らない。
来年は、モデルをローカルで動かすためのハードルがさらに上がると見ている。メモリメーカーの新しい生産能力が本格的に増えるのは2028年になってから。その間の2年間は、容量を持っている側がものを言う。
Appleが次世代モデルで512GBを復活させるかどうかは、何も発表されていない。確かなことは何もない。本当に何も。
モデルを動かすためのマシンを買うなら、まずメモリの欄を見よう。計算性能は後回しだ。順番を間違えないように。つぎ込んだお金が無駄になる。
$BTC $ETC $TAO
#AI算力 #以太坊经典 #メモリ
撤去するときも、何も言わなかった。最上位モデルは512GBから256GBに戻され、倉庫に残ったのはこの構成だけ。残りの在庫は販売店が値上げして売り、2万ドルを提示するところまで出た。以上。
一晩考えてみた。高いのは一面にすぎない。今回のAIハードウェア競争で比べられているのは、そもそも計算の速さじゃない。まず、載せられるかどうかだ。
6,700億パラメータのモデルを4ビット精度にすると、重みだけで448GBを占める。この448GBは、演算ユニットに最も近いメモリ層に置いておかなければならない。少しくらい遅くても我慢できる。載せられなければ、エラーが一行出るだけ。本当に。一行だけ。それで何も起きない。
NVIDIAの最も高価なコンシューマー向けカードでも、VRAMは32GB。どんな価格帯のカードでもそこは超えられない。448GBをそろえようと思ったら、カードを8枚つなぐ必要がある。各層の計算が終わるたびに、次の層を取りに戻る。その行き来が全部あのバスに詰まり、カードを何枚増やしても、ただ待つだけ。何の意味もない。電気メーターはぐんぐん回り、時間は待ち行列に吸い取られる。実測では、そうやって動かしても毎秒2トークンにも届かず、本体全体で400ワット超。あの小さな箱は毎秒17〜18トークンで、200ワット以内だ。
速いか遅いかはその次。まず動かせるかどうかだ。
もちろん弱点もある。1万6,000字の長文書を読み込ませると、最初の一文字が出るまで10分かかる。なぜ遅いと思う？長文書を読む処理は、メモリ帯域だけで無理やり支えているから。処理しきれない。短い会話なら問題なく、30秒以内に話し始める。だからこれは、大きなモデルを載せる仕事には向いているが、同時処理を大量にこなす用途には向かない。
じゃあ、なぜ撤去したのか。メモリのせいだ。
HBMを1GB作るには、DDR5の3GB分に相当するウェハ面積を使う。HBMの粗利益率は60％、コンシューマー向けメモリは20〜30％。世界の生産量の95％を3社が握り、生産能力はどんどんHBMに振り向けられている。今年、世界全体のDRAMウェハ生産能力の純増は1ポイント。たった1ポイント。焼け石に水だ。
その結果が価格だ。16GBのDDR4は、2024年末には3.2ドルだったのが、去年の年末には62ドルになった。あの頃にメモリを買いだめした人は、今ごろ笑いが止まらない。サーバー向けメモリの契約価格は今年の第2四半期にさらに50％上がった。上がらないわけがない。HPによると、ノートPCの部品コストに占めるメモリの割合は、1年前は15〜18％だったのが、今は35％。NVIDIAのあの小型マシンも、3,999ドルから4,699ドルに値上がりした。値上がりの原因はメモリで、チップはほとんど関係ない。
今回の影響はデータセンターだけだと思っている人は多い。実際には、次に買うパソコンやスマホの請求額に、もう反映されている。ただ、まだ請求が届いていないだけだ。
グラフィックカードのマイニングが盛んだった頃、同じ壁をめぐって一度、同じような値上がりが起きた。
Ethereum Classicが使っているのは、当時と同じアルゴリズムだ。DAGというファイルがあり、数万ブロックごとに大きくなり、その全体をVRAMに載せなければならない。載せられないと、マイニング機は「Allocation failed」とエラーを出す。つまり、載せられないということ。今年の10月1日、このファイルは46億3,000万バイトに達した。4GBのカードではとっくに足りず、5GBがようやくスタートラインだ。
4GBのカードの中にも、計算性能は決して悪くないものがあった。それでも容量不足で、死刑宣告を受けた。当時は納得しない人も多く、もう少し最適化すればまだ掘れると思っていた。だが、最適化の余地はとっくになくなっていた。ファイルサイズは最適化とは関係ない。どうやっても載らない。
同じ壁が、6年後にAIの世界にやってきた。今度値上がりしているものは、名前を変えて「メモリ」と呼ばれている。
分散型コンピューティングネットワークがここ2年売り込んできたのは、使われていないグラフィックカードを集めれば、クラウドより安くなるという話だ。この話が当てはまるのは半分だけ。半分にも満たない。集められるのはカードの枚数で、1枚あたりの容量は集められない。24GBのカードを100枚並べたら、448GBのモデルを載せられるか？載せられない。こうしたネットワークで受けられる仕事には上限があり、その幅は各カードのVRAM容量で決まる。カードの枚数が多くても、載せられるとは限らない。
来年は、モデルをローカルで動かすためのハードルがさらに上がると見ている。メモリメーカーの新しい生産能力が本格的に増えるのは2028年になってから。その間の2年間は、容量を持っている側がものを言う。
Appleが次世代モデルで512GBを復活させるかどうかは、何も発表されていない。確かなことは何もない。本当に何も。
モデルを動かすためのマシンを買うなら、まずメモリの欄を見よう。計算性能は後回しだ。順番を間違えないように。つぎ込んだお金が無駄になる。
$BTC $ETC $TAO
#AI算力 #以太坊经典 #メモリ