Una pequeña caja silenciosa, con 512 GB de memoria, capaz de cargar un modelo de 670.000 millones de parámetros y que consume menos de 200 vatios en total. Este año, Apple retiró del mercado esta configuración.
La retiró sin decir ni pío. La configuración más alta pasó de 512 GB a 256 GB, y en el almacén solo quedó esta última. Los distribuidores vendieron las unidades restantes con sobreprecio; hubo quien pidió 20.000 dólares. Así de simple.
Me quedé dándole vueltas toda la noche. El precio es solo una parte. En esta nueva ronda de hardware para IA, la competencia no consiste en quién calcula más rápido, sino en quién puede cargar el modelo.
Un modelo de 670.000 millones de parámetros, cuantizado a 4 bits, ocupa 448 GB solo en pesos. Esos 448 GB tienen que estar en la memoria más cercana a la unidad de cálculo. Que sea un poco más lenta, se puede soportar. Que no quepa, y aparece una línea de error. De verdad. Una sola línea. Y luego no pasa nada.
La tarjeta de consumo más cara de Nvidia tiene 32 GB de memoria de vídeo; no hay forma de superar ese límite, sea cual sea el precio. Para reunir 448 GB habría que combinar ocho tarjetas. Después de calcular cada capa, hay que volver atrás y cargar la siguiente; todo se atasca una y otra vez en ese bus. Puedes tener todas las tarjetas que quieras: se quedan esperando. No sirve de nada. El contador eléctrico gira a toda velocidad y el tiempo se va en hacer cola. Algunas pruebas reales dicen que así no se llega ni a dos tokens por segundo, con un consumo de más de 400 vatios para todo el equipo. Esta pequeña caja alcanza 17 o 18 por segundo y consume menos de 200 vatios.
La velocidad es lo de después. Lo primero es poder empezar a trabajar.
Claro que también tiene un punto débil. Si le metes un documento largo de 16.000 caracteres, tienes que esperar diez minutos para que aparezca la primera palabra. ¿Por qué crees que va tan lento? El paso de leer documentos largos depende por completo del ancho de banda de la memoria, y no da abasto. En conversaciones cortas no hay problema: responde en menos de medio minuto. Así que su trabajo es ejecutar modelos grandes que quepan en memoria; no es la indicada para gestionar solicitudes simultáneas.
Entonces, ¿por qué la retiraron? Por la memoria.
Para producir 1 GB de HBM se necesita una superficie de oblea equivalente a la de 3 GB de DDR5. El margen bruto de la HBM es del 60 %; el de la memoria de consumo, del 20 o 30 %. Tres fabricantes controlan el 95 % de la producción mundial, y están desplazando a toda velocidad la capacidad hacia la HBM. Este año, la capacidad mundial de producción de obleas DRAM crecerá netamente un 1 %. Un 1 %. No alcanza ni para empezar.
El resultado se ve en los precios. Los módulos DDR4 de 16 GB costaban 3,2 dólares a finales de 2024; a finales del año pasado, 62 dólares. Quienes acumularon memoria en aquel momento ahora se estarán riendo. El precio contractual de la memoria para servidores volvió a subir un 50 % en el segundo trimestre de este año. ¿Cómo no iba a subir? HP dice que la memoria representaba entre el 15 y el 18 % del coste de materiales de un portátil hace un año; ahora representa el 35 %. La pequeña máquina de Nvidia subió de 3.999 a 4.699 dólares. Lo que subió fue la memoria; los chips tuvieron poco que ver.
Mucha gente cree que esta ola solo afecta a los centros de datos. En realidad, ya está repercutiendo en la factura de tu próximo ordenador y de tu próximo teléfono. Solo que aún no te ha llegado.
Durante los años de la minería con tarjetas gráficas, ya se cobró una vez este mismo peaje.
Ethereum Classic sigue usando el algoritmo de entonces. Tiene un archivo llamado DAG, que crece cada varios miles de bloques y debe caber entero en la memoria de vídeo. Si no cabe, el equipo de minería muestra directamente «Allocation failed», que significa «no cabe». El 1 de octubre de este año, ese archivo llegó a los 4.630 millones de bytes. Las tarjetas de 4 GB ya se habían quedado pequeñas; 5 GB era el mínimo para empezar.
Había un montón de tarjetas de 4 GB con una potencia de cálculo realmente buena. Pero la capacidad las condenó. En aquel momento, muchos no se resignaban y pensaban que, optimizando un poco más, todavía podrían minar. Ya no quedaba margen para optimizar. El tamaño del archivo no tenía nada que ver con la optimización. Simplemente no cabía.
La misma línea divisoria, seis años después, aparece en el mundo de la IA. Esta vez, lo que sube de precio tiene otro nombre: memoria.
La historia que venden las redes de computación distribuida estos últimos años es que reúnen tarjetas gráficas ociosas y ofrecen algo más barato que la nube. Eso solo es cierto a medias. Ni siquiera llega a ser la mitad. Lo que se puede reunir es el número de tarjetas, no la capacidad de cada tarjeta. Si apilas cien tarjetas de 24 GB, ¿podrás cargar ese modelo de 448 GB? No. El tipo de trabajo que estas redes pueden aceptar tiene un techo, y el límite lo fija la memoria de vídeo de cada tarjeta. En fin, muchas tarjetas no significan que el modelo quepa.
Apuesto a que el año que viene será aún más difícil ejecutar modelos localmente. La nueva capacidad de producción de los fabricantes de memoria no llegará a pleno rendimiento hasta 2028. Durante estos dos años, quien tenga capacidad tendrá la última palabra.
Apple no ha dicho ni una palabra sobre si volverá a ofrecer 512 GB en la próxima generación. No hay nada confirmado. De verdad que no.
Si vas a comprar una máquina para ejecutar modelos, fíjate primero en la memoria. Deja la potencia de cálculo para después. No inviertas el orden. Si lo haces, habrás tirado el dinero.
$BTC $ETC $TAO
#AI算力 #以太坊经典 #memoria
La retiró sin decir ni pío. La configuración más alta pasó de 512 GB a 256 GB, y en el almacén solo quedó esta última. Los distribuidores vendieron las unidades restantes con sobreprecio; hubo quien pidió 20.000 dólares. Así de simple.
Me quedé dándole vueltas toda la noche. El precio es solo una parte. En esta nueva ronda de hardware para IA, la competencia no consiste en quién calcula más rápido, sino en quién puede cargar el modelo.
Un modelo de 670.000 millones de parámetros, cuantizado a 4 bits, ocupa 448 GB solo en pesos. Esos 448 GB tienen que estar en la memoria más cercana a la unidad de cálculo. Que sea un poco más lenta, se puede soportar. Que no quepa, y aparece una línea de error. De verdad. Una sola línea. Y luego no pasa nada.
La tarjeta de consumo más cara de Nvidia tiene 32 GB de memoria de vídeo; no hay forma de superar ese límite, sea cual sea el precio. Para reunir 448 GB habría que combinar ocho tarjetas. Después de calcular cada capa, hay que volver atrás y cargar la siguiente; todo se atasca una y otra vez en ese bus. Puedes tener todas las tarjetas que quieras: se quedan esperando. No sirve de nada. El contador eléctrico gira a toda velocidad y el tiempo se va en hacer cola. Algunas pruebas reales dicen que así no se llega ni a dos tokens por segundo, con un consumo de más de 400 vatios para todo el equipo. Esta pequeña caja alcanza 17 o 18 por segundo y consume menos de 200 vatios.
La velocidad es lo de después. Lo primero es poder empezar a trabajar.
Claro que también tiene un punto débil. Si le metes un documento largo de 16.000 caracteres, tienes que esperar diez minutos para que aparezca la primera palabra. ¿Por qué crees que va tan lento? El paso de leer documentos largos depende por completo del ancho de banda de la memoria, y no da abasto. En conversaciones cortas no hay problema: responde en menos de medio minuto. Así que su trabajo es ejecutar modelos grandes que quepan en memoria; no es la indicada para gestionar solicitudes simultáneas.
Entonces, ¿por qué la retiraron? Por la memoria.
Para producir 1 GB de HBM se necesita una superficie de oblea equivalente a la de 3 GB de DDR5. El margen bruto de la HBM es del 60 %; el de la memoria de consumo, del 20 o 30 %. Tres fabricantes controlan el 95 % de la producción mundial, y están desplazando a toda velocidad la capacidad hacia la HBM. Este año, la capacidad mundial de producción de obleas DRAM crecerá netamente un 1 %. Un 1 %. No alcanza ni para empezar.
El resultado se ve en los precios. Los módulos DDR4 de 16 GB costaban 3,2 dólares a finales de 2024; a finales del año pasado, 62 dólares. Quienes acumularon memoria en aquel momento ahora se estarán riendo. El precio contractual de la memoria para servidores volvió a subir un 50 % en el segundo trimestre de este año. ¿Cómo no iba a subir? HP dice que la memoria representaba entre el 15 y el 18 % del coste de materiales de un portátil hace un año; ahora representa el 35 %. La pequeña máquina de Nvidia subió de 3.999 a 4.699 dólares. Lo que subió fue la memoria; los chips tuvieron poco que ver.
Mucha gente cree que esta ola solo afecta a los centros de datos. En realidad, ya está repercutiendo en la factura de tu próximo ordenador y de tu próximo teléfono. Solo que aún no te ha llegado.
Durante los años de la minería con tarjetas gráficas, ya se cobró una vez este mismo peaje.
Ethereum Classic sigue usando el algoritmo de entonces. Tiene un archivo llamado DAG, que crece cada varios miles de bloques y debe caber entero en la memoria de vídeo. Si no cabe, el equipo de minería muestra directamente «Allocation failed», que significa «no cabe». El 1 de octubre de este año, ese archivo llegó a los 4.630 millones de bytes. Las tarjetas de 4 GB ya se habían quedado pequeñas; 5 GB era el mínimo para empezar.
Había un montón de tarjetas de 4 GB con una potencia de cálculo realmente buena. Pero la capacidad las condenó. En aquel momento, muchos no se resignaban y pensaban que, optimizando un poco más, todavía podrían minar. Ya no quedaba margen para optimizar. El tamaño del archivo no tenía nada que ver con la optimización. Simplemente no cabía.
La misma línea divisoria, seis años después, aparece en el mundo de la IA. Esta vez, lo que sube de precio tiene otro nombre: memoria.
La historia que venden las redes de computación distribuida estos últimos años es que reúnen tarjetas gráficas ociosas y ofrecen algo más barato que la nube. Eso solo es cierto a medias. Ni siquiera llega a ser la mitad. Lo que se puede reunir es el número de tarjetas, no la capacidad de cada tarjeta. Si apilas cien tarjetas de 24 GB, ¿podrás cargar ese modelo de 448 GB? No. El tipo de trabajo que estas redes pueden aceptar tiene un techo, y el límite lo fija la memoria de vídeo de cada tarjeta. En fin, muchas tarjetas no significan que el modelo quepa.
Apuesto a que el año que viene será aún más difícil ejecutar modelos localmente. La nueva capacidad de producción de los fabricantes de memoria no llegará a pleno rendimiento hasta 2028. Durante estos dos años, quien tenga capacidad tendrá la última palabra.
Apple no ha dicho ni una palabra sobre si volverá a ofrecer 512 GB en la próxima generación. No hay nada confirmado. De verdad que no.
Si vas a comprar una máquina para ejecutar modelos, fíjate primero en la memoria. Deja la potencia de cálculo para después. No inviertas el orden. Si lo haces, habrás tirado el dinero.
$BTC $ETC $TAO
#AI算力 #以太坊经典 #memoria