По словам @0x7SUN, генерального директора @flock_io, инференс может позволить жилым домам и другим небольшим объектам размещать вычислительные мощности для ИИ. Об этом сообщила YZi Labs в X.

Он сказал, что для масштабного обучения по-прежнему нужны тесно связанные между собой графические процессоры, размещённые в одном месте, тогда как инференс меньше зависит от места выполнения. В качестве примера он привёл @gmcbhutan и её гидроэнергетические мощности: инференс можно запускать, когда доступна электроэнергия, и сокращать часы вычислений в периоды её нехватки.

«Есть периоды, когда всё работает, и периоды нехватки ресурсов. Но для инференса это вполне допустимо», — сказал он. Он добавил, что такой подход может открыть для размещения центров обработки данных для ИИ места, которые раньше считались неподходящими, в том числе жилые дома. По его словам, вопрос теперь не только в том, где построить следующий крупный центр обработки данных, но и в том, насколько небольшими и распределёнными могут стать вычислительные мощности для ИИ.