メモリ帯域幅のボトルネックは、今やAI推論における最大の制約となっています。GPUの処理速度は、DRAMがデータを供給する速度を上回っているのです。こうした理由から、高帯域幅メモリ（HBM）は現代のAIチップに不可欠なものとなり、メモリ内処理アーキテクチャの研究も進んでいます。

一方、金融機関では、取引システムやリスクモデリング、市場分析へのAI導入が急速に進んでいます。課題はモデルだけではありません。規制要件を満たしながらリアルタイムの市場データを処理できる、低遅延の推論パイプラインを構築することも必要です。エンジニアたちは、膨大なコンテキストウィンドウをマイクロ秒単位で処理する必要があるトランスフォーマーベースのモデルに対応するため、取引インフラを一から再構築していると言っても過言ではありません。

興味深いのは、こうした分野の交差点です。ウォール街が求める速度が、一般向けAIアプリケーションでは到底なし得なかった速さで、ハードウェア各社にメモリの壁の解決を迫っています。