【Pourquoi Mar a augmenté de la moitié de la capitalisation d’Ethereum en seulement deux jours ? Un article pour comprendre ce que dit le vieux Huang : le prochain goulot d’étranglement des centres de données AI est la connectivité / interconnexion, c’est-à-dire l’interconnexion, l’interconnexion optique, le switching et les XPU sur mesure】
1. connectivité / interconnexion = interconnexion (cœur du goulot)
L’entraînement des grands modèles AI ne se fait pas avec une seule carte graphique : il faut regrouper plusieurs centaines ou milliers de GPU pour former un cluster.
La puissance de calcul vient des GPU/XPU, tandis que les données circulent via les liaisons d’interconnexion.
Avant, le goulot était : manque de GPU, performances des puces insuffisantes.
Maintenant, le goulot est : les données entre GPU sont trop lentes, réseau saturé → autrement dit, goulot de l’interconnexion.
2. interconnexion optique (modules optiques)
Les câbles électriques transmettent des signaux électriques : le débit maximal est limité et la chaleur importante.
Interconnexion optique = transmission de données par la lumière dans la fibre : c’est le seul schéma d’interconnexion haut débit actuel pour les supercalculateurs / les salles de serveurs IA.
Du serveur → au switch : l’accouplement se fait via des modules optiques ; pour l’interconnexion à grande échelle des clusters IA, tout repose dessus.
Plus on empile de la puissance de calcul, plus la demande en modules optiques explose, et les spécifications évoluent à une vitesse folle : c’est un goulot incontournable.
3. switching (commutateurs)
Par analogie avec le routeur à la maison, mais dans le data center, il s’agit de commutateurs géants multi-10G / 100G :
Les données de tous les GPU sont agrégées et transmises via le switch ; avec le très grand débit de données de l’IA, les exigences en bande passante et en latence des commutateurs augmentent de façon explosive.
Si les commutateurs ne suivent pas, même avec plus de GPU, tout tourne à vide : la puissance de calcul n’est pas pleinement exploitée.
4. XPU sur mesure
GPU : cartes graphiques généralistes d’NVIDIA.
XPU : puces de calcul dédiées et personnalisées (DPU/TPU/ASIC, etc.).
Pour résoudre la congestion de l’interconnexion, les fabricants ne se contentent plus d’empiler des GPU généralistes :
Faire des DPU (processeurs de traitement des données) : prendre en charge spécifiquement les tâches d’interconnexion réseau, libérant ainsi les GPU pour se concentrer sur le calcul de l’IA plutôt que sur l’envoi/réception des données.
Concevoir en interne des puces dédiées TPU/ASIC : interfaces d’interconnexion à haute vitesse intégrées directement dans la puce.
Optimiser l’efficacité de l’interconnexion à partir du niveau matériel grâce aux puces personnalisées.
1. connectivité / interconnexion = interconnexion (cœur du goulot)
L’entraînement des grands modèles AI ne se fait pas avec une seule carte graphique : il faut regrouper plusieurs centaines ou milliers de GPU pour former un cluster.
La puissance de calcul vient des GPU/XPU, tandis que les données circulent via les liaisons d’interconnexion.
Avant, le goulot était : manque de GPU, performances des puces insuffisantes.
Maintenant, le goulot est : les données entre GPU sont trop lentes, réseau saturé → autrement dit, goulot de l’interconnexion.
2. interconnexion optique (modules optiques)
Les câbles électriques transmettent des signaux électriques : le débit maximal est limité et la chaleur importante.
Interconnexion optique = transmission de données par la lumière dans la fibre : c’est le seul schéma d’interconnexion haut débit actuel pour les supercalculateurs / les salles de serveurs IA.
Du serveur → au switch : l’accouplement se fait via des modules optiques ; pour l’interconnexion à grande échelle des clusters IA, tout repose dessus.
Plus on empile de la puissance de calcul, plus la demande en modules optiques explose, et les spécifications évoluent à une vitesse folle : c’est un goulot incontournable.
3. switching (commutateurs)
Par analogie avec le routeur à la maison, mais dans le data center, il s’agit de commutateurs géants multi-10G / 100G :
Les données de tous les GPU sont agrégées et transmises via le switch ; avec le très grand débit de données de l’IA, les exigences en bande passante et en latence des commutateurs augmentent de façon explosive.
Si les commutateurs ne suivent pas, même avec plus de GPU, tout tourne à vide : la puissance de calcul n’est pas pleinement exploitée.
4. XPU sur mesure
GPU : cartes graphiques généralistes d’NVIDIA.
XPU : puces de calcul dédiées et personnalisées (DPU/TPU/ASIC, etc.).
Pour résoudre la congestion de l’interconnexion, les fabricants ne se contentent plus d’empiler des GPU généralistes :
Faire des DPU (processeurs de traitement des données) : prendre en charge spécifiquement les tâches d’interconnexion réseau, libérant ainsi les GPU pour se concentrer sur le calcul de l’IA plutôt que sur l’envoi/réception des données.
Concevoir en interne des puces dédiées TPU/ASIC : interfaces d’interconnexion à haute vitesse intégrées directement dans la puce.
Optimiser l’efficacité de l’interconnexion à partir du niveau matériel grâce aux puces personnalisées.