分散ハードウェアでLLMをファインチューニングする際、オープンソース開発者が直面する3つの大きな壁：

1. ノード間でのメモリの断片化 - ほとんどのフレームワークは、単純なデータ並列化を超えてモデルの状態を効率よく分割できない

2. インターネット接続の帯域幅不足 - 勾配同期と活性値の転送で帯域幅が消費され、一般家庭向けISPでは対応しきれない

3. ノード障害で実行全体が台無しに - フォールトトレランスがないため、1台のマシンが停止すると何時間分もの計算が無駄になる

現在のフレームワーク（DeepSpeed、FSDPなど）は、データセンター級のインフラを前提としている。VRAMが24GBのノードもあれば12GBのノードもあり、住宅向け光回線で接続され、レイテンシが100ms急上昇することもあるような、異種混在の家庭環境向けには作られていない。