Le MiniCPM-V 4.7, récemment présenté par OpenBMB, dans sa version 35B-A3B, peut générer plus de 13 tokens par seconde sur un iPhone 17 Pro Max, selon les tests publiés par l’équipe, avec environ 3 Go de mémoire vive.
Ces 3 Go correspondent à la mémoire vive ; les fichiers du modèle nécessitent également de l’espace de stockage. Le modèle charge à l’avance les poids susceptibles d’être utilisés ensuite, ce qui réduit le temps d’attente des données.
Ces 3 Go correspondent à la mémoire vive ; les fichiers du modèle nécessitent également de l’espace de stockage. Le modèle charge à l’avance les poids susceptibles d’être utilisés ensuite, ce qui réduit le temps d’attente des données.