Microsoft обучила MAI-Base-2 — MoE-модель с 2,8 трлн параметров — на 16 000 GPU GB200 за 38 дней. Открытые веса не опубликованы.
Главное препятствие на пути к передовому ИИ — не архитектура модели, а инфраструктура для обучения. Воспроизвести такой результат без огромных кластеров GPU невозможно.
Распределённое обучение на потребительском оборудовании может стать ключом к прорыву. Представьте, что тысячи потребительских GPU объединены для обучения моделей такого масштаба. Именно этот инфраструктурный барьер нам и предстоит преодолеть.
Главное препятствие на пути к передовому ИИ — не архитектура модели, а инфраструктура для обучения. Воспроизвести такой результат без огромных кластеров GPU невозможно.
Распределённое обучение на потребительском оборудовании может стать ключом к прорыву. Представьте, что тысячи потребительских GPU объединены для обучения моделей такого масштаба. Именно этот инфраструктурный барьер нам и предстоит преодолеть.