Huawei ha publicado como código abierto una herramienta de cuantización llamada MACaQ, y las cifras son un poco impresionantes: cuantizar por completo el modelo Qwen3.5 de 122.000 millones de parámetros solo llevó 64 minutos y requirió apenas 32,5 GB de memoria de vídeo en el pico.
El contexto es que el modelo tiene 122.000 millones de parámetros y sus pesos en precisión media ocupan 244 GB, así que no caben en una sola tarjeta. MACaQ procesa el modelo por capas y en flujo: solo mantiene una capa en la memoria de vídeo cada vez. Una vez cuantizado, el modelo ocupa 74 GB y apenas pierde precisión: su perplejidad en WikiText-2 es de 5,14, frente a 5,06 con precisión completa. El artículo también afirma que es 11 veces más rápido que otros métodos similares.
El código ya está disponible en GitHub (con licencia Apache 2.0) y es compatible con marcos de inferencia populares como llama.cpp y vLLM. También sirve para modelos de texto, imagen, vídeo y audio.
En mi opinión, lo realmente interesante de esta herramienta no es la velocidad, sino que reduce la barrera de entrada: antes, para ejecutar localmente un modelo grande de cientos de miles de millones de parámetros, primero necesitabas un montón de tarjetas gráficas de gama alta. Ahora, puedes realizar la cuantización con solo 32,5 GB de memoria de vídeo. El coste de experimentar con modelos grandes sigue bajando para los usuarios de a pie.
#FronteraIA
$BTC
El contexto es que el modelo tiene 122.000 millones de parámetros y sus pesos en precisión media ocupan 244 GB, así que no caben en una sola tarjeta. MACaQ procesa el modelo por capas y en flujo: solo mantiene una capa en la memoria de vídeo cada vez. Una vez cuantizado, el modelo ocupa 74 GB y apenas pierde precisión: su perplejidad en WikiText-2 es de 5,14, frente a 5,06 con precisión completa. El artículo también afirma que es 11 veces más rápido que otros métodos similares.
El código ya está disponible en GitHub (con licencia Apache 2.0) y es compatible con marcos de inferencia populares como llama.cpp y vLLM. También sirve para modelos de texto, imagen, vídeo y audio.
En mi opinión, lo realmente interesante de esta herramienta no es la velocidad, sino que reduce la barrera de entrada: antes, para ejecutar localmente un modelo grande de cientos de miles de millones de parámetros, primero necesitabas un montón de tarjetas gráficas de gama alta. Ahora, puedes realizar la cuantización con solo 32,5 GB de memoria de vídeo. El coste de experimentar con modelos grandes sigue bajando para los usuarios de a pie.
#FronteraIA
$BTC
