La compresión de memoria de GPU cuenta desde el miércoles con una nueva herramienta de código abierto: ModelScope lanzó EntroPack, una biblioteca de PyTorch que permite a los desarrolladores ajustar cómo se almacenan los pesos de los modelos de IA para adaptarlos a un presupuesto de memoria de GPU determinado.
Conclusiones clave
ModelScope lanzó EntroPack, una biblioteca de PyTorch de código abierto para ajustar el almacenamiento de los pesos de modelos de IA a un presupuesto de memoria de GPU determinado
EntroPack permite a los desarrolladores ajustar la compresión según la memoria de GPU disponible, sacrificando precisión para liberar memoria de forma gradual
Un modelo que requiere 80 gigabytes de memoria no se puede cargar en una tarjeta con 24 gigabytes, a menos que se compriman sus pesos
ModelScope no ha publicado pruebas comparativas formales que comparen EntroPack con bibliotecas de compresión consolidadas, como bitsandbytes o GPTQ
El proyecto aborda un cuello de botella persistente en la ejecución de modelos grandes: la memoria limitada de las unidades de procesamiento gráfico, que obliga a los equipos a comprar hardware más caro o a reducir el tamaño de sus modelos.
ModelScope, el centro de modelos abiertos respaldado por Alibaba, describió EntroPack en una publicación de su cuenta de X como una herramienta que ofrece compresión flexible y permite a los usuarios elegir cuánto reducir el almacenamiento de los pesos.
PyTorch es el marco de aprendizaje automático de código abierto que los desarrolladores usan para crear y entrenar la mayoría de los modelos modernos de IA, y la capacidad de memoria de la GPU es una de las limitaciones más estrictas a la hora de determinar qué modelos pueden ejecutarse en cada hardware.
Un modelo que necesita 80 gigabytes de memoria no se cargará en una tarjeta con 24 gigabytes, a menos que primero se compriman sus pesos.
Cómo funciona realmente la compresión ajustable de memoria de GPU
La compresión del almacenamiento de pesos funciona representando los parámetros numéricos de un modelo con menos bits que el formato en el que se entrenaron, a cambio de cierta precisión y de una menor huella de memoria.
La mayoría de los modelos de producción se entrenan con formatos de punto flotante de 16 o 32 bits, pero la inferencia —la etapa en la que un modelo entrenado genera resultados en lugar de aprender de datos nuevos— suele tolerar una precisión menor sin que la calidad de los resultados se vea afectada de forma significativa.
La propuesta de EntroPack es ofrecer flexibilidad, en lugar de un único ratio de compresión fijo.
En lugar de imponer a todos los usuarios un único esquema de cuantización agresiva, la biblioteca permite que los desarrolladores ajusten el nivel de compresión según la memoria de GPU de la que disponen, intercambiando precisión por margen de memoria de forma gradual, en vez de ofrecer una opción de todo o nada.
Lee también: HCLTech se convierte en el principal socio de Anthropic para Claude y crea una nueva unidad de negocio de IA
El muro de memoria que impulsa la demanda de herramientas como esta
La memoria de GPU se ha convertido en uno de los principales factores de presión sobre los costos de implementación de IA durante los últimos dos años, ya que el tamaño de los modelos ha crecido más rápido que la capacidad de memoria del hardware disponible de forma generalizada.
Incluso las tarjetas de consumo y para usuarios profesionales de Nvidia con mayor capacidad siguen estando muy por debajo de lo que necesitan de forma nativa los grandes modelos de pesos abiertos. Esto ha impulsado toda una categoría de herramientas de compresión, cuantización y descarga de datos, desarrolladas tanto en laboratorios corporativos como por colaboradores independientes de código abierto.
ModelScope se ha posicionado como un centro de modelos y herramientas de IA de código abierto que compiten con las alternativas cerradas de los laboratorios occidentales. Aloja pesos, conjuntos de datos y, ahora, utilidades de infraestructura como EntroPack, dirigidas a desarrolladores que no pueden permitirse computación a escala de frontera.
El ecosistema más amplio de modelos de pesos abiertos, que incluye los modelos de la propia familia Qwen de Alibaba y la línea Llama de Meta, ha dependido en gran medida de la investigación en compresión para que sus modelos puedan ejecutarse en hardware de consumo y empresarial de gama media, y no solo en chips de centros de datos.
Dónde encaja esto mientras siguen aumentando los costos de las GPU
La prueba práctica para EntroPack será su adopción entre los desarrolladores que ejecutan modelos de pesos abiertos en hardware limitado, un grupo que ha crecido a medida que los modelos abiertos se han vuelto más grandes y capaces.
Las herramientas que permiten ejecutar cómodamente un modelo de 70.000 millones de parámetros en una sola GPU de consumo, en lugar de en un bastidor de servidores con varias tarjetas, tienen implicaciones económicas reales y, a menudo, determinan si un proyecto personal es viable o no.
ModelScope no ha publicado pruebas comparativas formales que comparen EntroPack con bibliotecas de compresión consolidadas, como bitsandbytes o GPTQ, por lo que las pruebas independientes determinarán si su enfoque flexible está a la altura de las alternativas de ratio fijo diseñadas específicamente para ese fin y que ya se usan ampliamente.
Lee a continuación: Anthropic abre su quinto centro en Asia-Pacífico y firma un pacto de seguridad de IA en Singapur