Huawei ha publicado como código abierto una herramienta de cuantización llamada MACaQ: cuantiza por completo el gran modelo Qwen de 122B en solo 64 minutos, con un pico de memoria de GPU de apenas 32,5 GB.
Antes, cuantizar modelos de esta escala llevaba medio día o incluso varios días, y la memoria de GPU solía agotarse. Usa una precisión W4A4; su perplejidad es menor o igual que la de MR-GPTQ y DuQuant++, y tarda solo 1/11 del tiempo. En Qwen3, acelera el prefill 2,33 veces y el decode 2,58 veces, con un sobrecoste de solo el 2,3 %.
Funciona con texto, imágenes, vídeo, audio y 3D, y una sola herramienta permite exportar directamente a los formatos GGUF, vLLM, Diffusers y PyTorch. Ya está disponible como código abierto en GitHub, bajo la licencia Apache 2.0.
La cuantización de modelos de cientos de miles de millones de parámetros pasó de «medio día como mínimo» a «lista en una hora»: otra barrera para ejecutar grandes modelos localmente acaba de caer.
$BTC
Antes, cuantizar modelos de esta escala llevaba medio día o incluso varios días, y la memoria de GPU solía agotarse. Usa una precisión W4A4; su perplejidad es menor o igual que la de MR-GPTQ y DuQuant++, y tarda solo 1/11 del tiempo. En Qwen3, acelera el prefill 2,33 veces y el decode 2,58 veces, con un sobrecoste de solo el 2,3 %.
Funciona con texto, imágenes, vídeo, audio y 3D, y una sola herramienta permite exportar directamente a los formatos GGUF, vLLM, Diffusers y PyTorch. Ya está disponible como código abierto en GitHub, bajo la licencia Apache 2.0.
La cuantización de modelos de cientos de miles de millones de parámetros pasó de «medio día como mínimo» a «lista en una hora»: otra barrera para ejecutar grandes modelos localmente acaba de caer.
$BTC
