Le responsable de l’IA chez Theory Ventures apporte des données concrètes sur le discours autour de la pénurie de GPU : la situation n’est pas binaire.
Répartition réelle des charges de travail chez Theory :
• 5 à 10 % des tâches des agents nécessitent une inférence en temps réel
• 40 à 60 % peuvent tolérer une latence jusqu’à la prochaine synchronisation (quelques heures)
• Les autres peuvent attendre plusieurs jours
Cette répartition des niveaux d’urgence implique des besoins différents en calcul, même au sein d’une seule organisation. Un entraînement à un billion de paramètres nécessitant 1 000 B300 en attente ? Oui, les capacités sont réellement limitées. Mais un agent qui résume des textes sur un petit nœud ? Il y a largement de quoi faire.
Le marché des GPU n’est pas tendu partout : il est segmenté selon les exigences de latence et l’échelle des charges de travail. Si vous n’effectuez pas d’entraînements massifs synchronisés, vous n’avez probablement pas de souci à vous faire.
Répartition réelle des charges de travail chez Theory :
• 5 à 10 % des tâches des agents nécessitent une inférence en temps réel
• 40 à 60 % peuvent tolérer une latence jusqu’à la prochaine synchronisation (quelques heures)
• Les autres peuvent attendre plusieurs jours
Cette répartition des niveaux d’urgence implique des besoins différents en calcul, même au sein d’une seule organisation. Un entraînement à un billion de paramètres nécessitant 1 000 B300 en attente ? Oui, les capacités sont réellement limitées. Mais un agent qui résume des textes sur un petit nœud ? Il y a largement de quoi faire.
Le marché des GPU n’est pas tendu partout : il est segmenté selon les exigences de latence et l’échelle des charges de travail. Si vous n’effectuez pas d’entraînements massifs synchronisés, vous n’avez probablement pas de souci à vous faire.