Разработчики open source сталкиваются с тремя серьёзными препятствиями при дообучении LLM на распределённом оборудовании:
1. Фрагментация памяти между узлами — большинство фреймворков не умеют эффективно распределять состояния модели между узлами, выходя за рамки простого параллелизма по данным
2. Нехватка пропускной способности интернет-канала — синхронизация градиентов и передача активаций расходуют столько трафика, что обычные домашние интернет-провайдеры с этим не справляются
3. Сбои узлов прерывают весь запуск — без отказоустойчивости часы вычислений пропадают впустую, если отключается хотя бы одна машина
Современные фреймворки (DeepSpeed, FSDP и т. д.) рассчитаны на инфраструктуру уровня дата-центров. Они не предназначены для неоднородных домашних конфигураций, где у одного узла 24 ГБ VRAM, у другого — 12 ГБ, а соединены они домашним оптоволоконным интернетом с периодическими скачками задержки до 100 мс.
1. Фрагментация памяти между узлами — большинство фреймворков не умеют эффективно распределять состояния модели между узлами, выходя за рамки простого параллелизма по данным
2. Нехватка пропускной способности интернет-канала — синхронизация градиентов и передача активаций расходуют столько трафика, что обычные домашние интернет-провайдеры с этим не справляются
3. Сбои узлов прерывают весь запуск — без отказоустойчивости часы вычислений пропадают впустую, если отключается хотя бы одна машина
Современные фреймворки (DeepSpeed, FSDP и т. д.) рассчитаны на инфраструктуру уровня дата-центров. Они не предназначены для неоднородных домашних конфигураций, где у одного узла 24 ГБ VRAM, у другого — 12 ГБ, а соединены они домашним оптоволоконным интернетом с периодическими скачками задержки до 100 мс.