【El mayor agujero negro de capacidad de cómputo de los clústeres de GPU con decenas de miles de tarjetas: ¿por qué el 80 % de la factura eléctrica de los grandes modelos del mundo se destina a calcular 0 por 0?】
La prometedora empresa de chips de IA de Shenzhen,墨芯人工智能, acaba de cerrar una ronda de financiación C+ de casi 1.000 millones de yuanes. ¡En seis meses ha recaudado casi 2.000 millones en dos rondas! Han sacado a la luz una de las heridas más ocultas de la infraestructura global de cómputo: el impuesto al cómputo de valor cero (Zero-Value Compute Tax).
El cerebro humano tiene 86.000 millones de neuronas, pero en cada pensamiento solo se activa entre el 1 % y el 2 % de ellas, con un consumo de apenas 20 vatios. En cambio, las GPU tradicionales se basan en una arquitectura de cómputo denso, originada en el renderizado de videojuegos 3D. Aunque, durante la inferencia, más del 80 % de los pesos y valores de activación de un gran modelo con cientos de miles de millones de parámetros sean cero, las GPU tradicionales tienen que cargar cada cero por X en los registros y calcularlo igualmente, desperdiciando enormes cantidades de ancho de banda de memoria y electricidad.
La arquitectura Antoum, desarrollada por墨芯, introduce por primera vez un algoritmo de doble esparsidad (esparsidad de pesos estática + esparsidad de activaciones dinámica). Omite directamente las operaciones innecesarias con valores cero en la capa de silicio, admite una tasa de esparsidad de hasta 32 veces y alcanza una potencia de cálculo equivalente a 3774 TOPS con un consumo de apenas 300 vatios.
Esto también supone un punto de inflexión importante para las redes descentralizadas de cómputo de Web3 y DePIN: cuando los agentes de IA entren en la era de la interacción autónoma de alta frecuencia en cadena, las 24 horas del día, los 7 días de la semana, la diferencia ya no la marcará quién tenga las tarjetas gráficas más caras, sino quién pueda reducir en un orden de magnitud el coste de inferencia de cada token mediante el cómputo disperso. ¿Crees que la innovación arquitectónica puede acabar con el monopolio del cómputo?
#BTC #Crypto #AI #Web3
La prometedora empresa de chips de IA de Shenzhen,墨芯人工智能, acaba de cerrar una ronda de financiación C+ de casi 1.000 millones de yuanes. ¡En seis meses ha recaudado casi 2.000 millones en dos rondas! Han sacado a la luz una de las heridas más ocultas de la infraestructura global de cómputo: el impuesto al cómputo de valor cero (Zero-Value Compute Tax).
El cerebro humano tiene 86.000 millones de neuronas, pero en cada pensamiento solo se activa entre el 1 % y el 2 % de ellas, con un consumo de apenas 20 vatios. En cambio, las GPU tradicionales se basan en una arquitectura de cómputo denso, originada en el renderizado de videojuegos 3D. Aunque, durante la inferencia, más del 80 % de los pesos y valores de activación de un gran modelo con cientos de miles de millones de parámetros sean cero, las GPU tradicionales tienen que cargar cada cero por X en los registros y calcularlo igualmente, desperdiciando enormes cantidades de ancho de banda de memoria y electricidad.
La arquitectura Antoum, desarrollada por墨芯, introduce por primera vez un algoritmo de doble esparsidad (esparsidad de pesos estática + esparsidad de activaciones dinámica). Omite directamente las operaciones innecesarias con valores cero en la capa de silicio, admite una tasa de esparsidad de hasta 32 veces y alcanza una potencia de cálculo equivalente a 3774 TOPS con un consumo de apenas 300 vatios.
Esto también supone un punto de inflexión importante para las redes descentralizadas de cómputo de Web3 y DePIN: cuando los agentes de IA entren en la era de la interacción autónoma de alta frecuencia en cadena, las 24 horas del día, los 7 días de la semana, la diferencia ya no la marcará quién tenga las tarjetas gráficas más caras, sino quién pueda reducir en un orden de magnitud el coste de inferencia de cada token mediante el cómputo disperso. ¿Crees que la innovación arquitectónica puede acabar con el monopolio del cómputo?
#BTC #Crypto #AI #Web3
