【¿Por qué en dos días Mar l subió medio valor de mercado de Ethereum? Una lectura para entender lo que dice el viejo Huang: el siguiente cuello de botella de los centros de datos de IA se define por la connectivity / interconnect, es decir, interconexión, interconexión óptica, conmutación y XPU a medida】
1. connectivity / interconnect = interconectar (el núcleo de todo el cuello de botella)
El entrenamiento de modelos de IA no lo hace una sola GPU: cientos o decenas de miles de GPU se agrupan para formar un clúster.
La potencia de cómputo depende de GPU/XPU y los datos se transmiten de ida y vuelta por las líneas de interconexión.
Antes, el cuello de botella era: faltaban GPU, o el rendimiento del chip no era suficiente.
Ahora, el cuello de botella es: entre GPU los datos van demasiado lento, la red se atasca → o sea, el cuello de botella de la interconexión.
2. Interconexión óptica (módulos ópticos)
Tradicionalmente se transmiten señales eléctricas con cables, con un límite de velocidad menor y más calor.
Interconexión óptica = transmitir datos con luz a través de fibra óptica. Es hoy la única solución de interconexión de alta velocidad para supercómputo / centros de datos de IA:
entre el servidor y el conmutador se acopla con módulos ópticos; toda la creación de redes a gran escala de un clúster de IA depende de ello.
Cuanta más potencia de cómputo se apila, más dispara la demanda de módulos ópticos: la iteración de especificaciones va rapidísima; se ha vuelto un cuello de botella imprescindible.
3. Conmutación (conmutadores)
Analogía: como el router de casa, pero en el centro de datos hablamos de conmutadores gigantes de 10G/100G:
todos los datos de todas las GPU se agregan y se reenvían a través del conmutador. Para la ingesta y el rendimiento masivo de datos de la IA, las exigencias de ancho de banda y latencia del conmutador aumentan de forma explosiva.
Si el conmutador no da la talla, aunque haya más GPU, todo queda en vacío y no se puede aprovechar al máximo la capacidad de cómputo.
4. XPU a medida
GPU: tarjetas gráficas de propósito general de NVIDIA
XPU: chips dedicados de potencia de cómputo personalizados (DPU/TPU/ASIC, etc.)
Para resolver la congestión de la interconexión, ahora los fabricantes ya no se limitan a apilar GPU de propósito general:
Hacen DPU (procesadores de datos): se encargan de las tareas de interconexión de red de forma específica, liberando a la GPU de la comunicación de envío/recepción para que se concentre en calcular IA.
Desarrollan de forma propia TPU/ASIC, chips a medida, e integran directamente interfaces de interconexión de alta velocidad dentro del chip.
Optimizar la eficiencia de la interconexión desde la base a nivel de hardware usando chips personalizados.
1. connectivity / interconnect = interconectar (el núcleo de todo el cuello de botella)
El entrenamiento de modelos de IA no lo hace una sola GPU: cientos o decenas de miles de GPU se agrupan para formar un clúster.
La potencia de cómputo depende de GPU/XPU y los datos se transmiten de ida y vuelta por las líneas de interconexión.
Antes, el cuello de botella era: faltaban GPU, o el rendimiento del chip no era suficiente.
Ahora, el cuello de botella es: entre GPU los datos van demasiado lento, la red se atasca → o sea, el cuello de botella de la interconexión.
2. Interconexión óptica (módulos ópticos)
Tradicionalmente se transmiten señales eléctricas con cables, con un límite de velocidad menor y más calor.
Interconexión óptica = transmitir datos con luz a través de fibra óptica. Es hoy la única solución de interconexión de alta velocidad para supercómputo / centros de datos de IA:
entre el servidor y el conmutador se acopla con módulos ópticos; toda la creación de redes a gran escala de un clúster de IA depende de ello.
Cuanta más potencia de cómputo se apila, más dispara la demanda de módulos ópticos: la iteración de especificaciones va rapidísima; se ha vuelto un cuello de botella imprescindible.
3. Conmutación (conmutadores)
Analogía: como el router de casa, pero en el centro de datos hablamos de conmutadores gigantes de 10G/100G:
todos los datos de todas las GPU se agregan y se reenvían a través del conmutador. Para la ingesta y el rendimiento masivo de datos de la IA, las exigencias de ancho de banda y latencia del conmutador aumentan de forma explosiva.
Si el conmutador no da la talla, aunque haya más GPU, todo queda en vacío y no se puede aprovechar al máximo la capacidad de cómputo.
4. XPU a medida
GPU: tarjetas gráficas de propósito general de NVIDIA
XPU: chips dedicados de potencia de cómputo personalizados (DPU/TPU/ASIC, etc.)
Para resolver la congestión de la interconexión, ahora los fabricantes ya no se limitan a apilar GPU de propósito general:
Hacen DPU (procesadores de datos): se encargan de las tareas de interconexión de red de forma específica, liberando a la GPU de la comunicación de envío/recepción para que se concentre en calcular IA.
Desarrollan de forma propia TPU/ASIC, chips a medida, e integran directamente interfaces de interconexión de alta velocidad dentro del chip.
Optimizar la eficiencia de la interconexión desde la base a nivel de hardware usando chips personalizados.