SKハイニックスは本当のAIのボトルネックを明確に示した——もはや計算力ではない。

Dellのフォーラムで、同社のシステム・アーキテクチャ担当VPは、メモリ帯域幅が、いまや生のGPUパワーよりも全体のAI性能を左右すると述べた。LLMはすでに大量のデータを動かしている。エージェント型のワークロードやより長いコンテキスト・ウィンドウは、トークン処理スループットを毎秒数十から、数百〜数千へと押し上げる。

HBMはGen1からHBM4まで急速に進化してきたが、SKは次世代のエージェント型システムにはそれだけでは足りないと言う。GPU上にメモリを直接積層すれば、はるかに高い帯域幅が実現できる可能性があるが、熱上限の問題でその道は険しい。もう一つの制約はエネルギーだ——電力の大半が計算ではなくデータ移動に使われる。だからこそ、メモリ内処理（処理・in・メモリ）の研究が前進し続けている。

CXLを介したメモリ・プーリングは、GPUのアイドル時間を減らし、コスト効率を高めるために導入が進んでいる。Jevonsのパラドックスのとおり、アルゴリズムの改善など他の領域で得られた効率向上は、メモリ需要を減らすのではなく、むしろ総需要を増やしてしまった。

パターンは明確だ。計算は進み続けている。いまやシステムは、データをどれだけ速く・効率よく供給できるかによってますます制約されている。これが、次の波のAIインフラ投資を形作る制約である。