В недавно выпущенной OpenBMB модели MiniCPM-V 4.7 версия 35B-A3B, согласно тестам, опубликованным командой, генерирует на iPhone 17 Pro Max более 13 токенов в секунду и занимает около 3 ГБ оперативной памяти.
Речь о 3 ГБ оперативной памяти — для файла модели потребуется дополнительное место в хранилище. Модель заранее загружает веса, которые могут понадобиться дальше, чтобы меньше времени ждать загрузки данных.
Речь о 3 ГБ оперативной памяти — для файла модели потребуется дополнительное место в хранилище. Модель заранее загружает веса, которые могут понадобиться дальше, чтобы меньше времени ждать загрузки данных.