Сегодня вечером модель 26B размером около 20 ГБ стала локальной моделью по умолчанию для многих. Ограничением стала уже не производительность, а пропускная способность памяти, а среды выполнения всё ещё отстают от весов. Что вы запускаете локально?
#AI #LocalLLM