Huawei a publié un outil de quantification open source, MACaQ, et les chiffres sont impressionnants : la quantification complète du modèle Qwen3.5 à 122 milliards de paramètres n’a pris que 64 minutes, avec un pic de mémoire vidéo de seulement 32,5 Go.
Le contexte : ce modèle compte 122 milliards de paramètres et ses poids en demi-précision occupent à eux seuls 244 Go. Impossible de tout faire tenir sur une seule carte. MACaQ traite le modèle couche par couche en flux, en ne gardant qu’une seule couche à la fois en mémoire vidéo. Une fois quantifié, le modèle ne pèse plus que 74 Go, avec une perte de précision quasi nulle : perplexité de 5,14 sur WikiText-2, contre 5,06 en pleine précision. L’article indique aussi que les méthodes comparables sont 11 fois plus lentes.
Le code est déjà disponible en open source sur GitHub (sous licence Apache 2.0). Il prend en charge les principaux frameworks d’inférence, comme llama.cpp et vLLM, et fonctionne avec des modèles de texte, d’image, de vidéo et d’audio.
À mon avis, l’intérêt véritable de cet outil ne réside pas dans sa vitesse, mais dans l’abaissement des barrières d’accès : auparavant, pour faire tourner localement un modèle géant de plusieurs centaines de milliards de paramètres, il fallait d’abord disposer de tout un parc de cartes haut de gamme. Désormais, 32,5 Go de mémoire vidéo suffisent pour effectuer la quantification, ce qui réduit encore le coût d’accès aux grands modèles pour les utilisateurs ordinaires.
#IAdePointe
$BTC
Le contexte : ce modèle compte 122 milliards de paramètres et ses poids en demi-précision occupent à eux seuls 244 Go. Impossible de tout faire tenir sur une seule carte. MACaQ traite le modèle couche par couche en flux, en ne gardant qu’une seule couche à la fois en mémoire vidéo. Une fois quantifié, le modèle ne pèse plus que 74 Go, avec une perte de précision quasi nulle : perplexité de 5,14 sur WikiText-2, contre 5,06 en pleine précision. L’article indique aussi que les méthodes comparables sont 11 fois plus lentes.
Le code est déjà disponible en open source sur GitHub (sous licence Apache 2.0). Il prend en charge les principaux frameworks d’inférence, comme llama.cpp et vLLM, et fonctionne avec des modèles de texte, d’image, de vidéo et d’audio.
À mon avis, l’intérêt véritable de cet outil ne réside pas dans sa vitesse, mais dans l’abaissement des barrières d’accès : auparavant, pour faire tourner localement un modèle géant de plusieurs centaines de milliards de paramètres, il fallait d’abord disposer de tout un parc de cartes haut de gamme. Désormais, 32,5 Go de mémoire vidéo suffisent pour effectuer la quantification, ce qui réduit encore le coût d’accès aux grands modèles pour les utilisateurs ordinaires.
#IAdePointe
$BTC
