Huawei a publié en open source un outil de quantification, MACaQ : il a quantifié intégralement le grand modèle Qwen de 122B en seulement 64 minutes, avec un pic de mémoire vidéo de seulement 32,5 Go.
Auparavant, quantifier des modèles de cette taille prenait une demi-journée, voire plusieurs jours, et la mémoire vidéo débordait souvent. La précision utilisée est W4A4. La perplexité est inférieure ou égale à celle de MR-GPTQ et DuQuant++, tandis que le temps de quantification ne représente qu’un onzième du leur. Sur Qwen3, l’accélération du prefill atteint 2,33× et celle du decode, 2,58×, pour seulement 2,3 % de surcoût.
Il prend en charge le texte, les images, la vidéo, l’audio et la 3D. Un seul ensemble d’outils permet de générer directement des formats GGUF, vLLM, Diffusers et PyTorch. Le code est disponible sur GitHub sous licence Apache 2.0.
La quantification des modèles de centaines de milliards de paramètres, qui prenait « au moins une demi-journée », se fait désormais en « une heure chrono » : une nouvelle barrière à l’exécution locale de grands modèles vient de tomber.
$BTC
Auparavant, quantifier des modèles de cette taille prenait une demi-journée, voire plusieurs jours, et la mémoire vidéo débordait souvent. La précision utilisée est W4A4. La perplexité est inférieure ou égale à celle de MR-GPTQ et DuQuant++, tandis que le temps de quantification ne représente qu’un onzième du leur. Sur Qwen3, l’accélération du prefill atteint 2,33× et celle du decode, 2,58×, pour seulement 2,3 % de surcoût.
Il prend en charge le texte, les images, la vidéo, l’audio et la 3D. Un seul ensemble d’outils permet de générer directement des formats GGUF, vLLM, Diffusers et PyTorch. Le code est disponible sur GitHub sous licence Apache 2.0.
La quantification des modèles de centaines de milliards de paramètres, qui prenait « au moins une demi-journée », se fait désormais en « une heure chrono » : une nouvelle barrière à l’exécution locale de grands modèles vient de tomber.
$BTC
