La start-up spécialisée dans les puces d’IA Groq, rachetée par NVIDIA, envisagerait de revoir la conception de la mémoire de ses puces. Le média sud-coréen ZDNet a rapporté le 20 octobre que Groq étudiait l’intégration de la technologie d’encapsulation 3D à ses puces de prochaine génération, en remplaçant la SRAM, qui constituait jusqu’ici le cœur de sa conception, par de la DRAM. L’objectif serait d’augmenter considérablement la capacité mémoire de chaque puce.

Groq réoriente la conception de ses puces de prochaine génération : la DRAM pourrait remplacer la SRAM

Selon ZDNet, qui cite deux sources anonymes du secteur des semi-conducteurs, Groq examine la possibilité d’appliquer la technologie d’encapsulation 3D à ses puces de prochaine génération, en remplaçant la SRAM utilisée dans la conception actuelle par de la DRAM. Une source du secteur a indiqué que Groq prévoit d’intégrer l’encapsulation 3D à ses nouvelles puces en empilant de la DRAM, plutôt que de conserver la SRAM.

Le packaging 3D consiste à empiler verticalement plusieurs puces semi-conductrices (dies), afin qu’elles fonctionnent comme une seule puce. Selon des informations publiées, par rapport à la conception plane traditionnelle en 2D, cette approche peut réduire la surface occupée et pourrait aussi améliorer l’efficacité énergétique.

Groq a été fondée en 2016 par Jonathan Ross, l’un des concepteurs du TPU de Google. L’entreprise a été rachetée par Nvidia l’an dernier. Des informations antérieures selon lesquelles sa puce « Groq 3 LPX » était entrée en production de masse montrent que la gamme de produits de Groq continue d’évoluer au sein de l’écosystème Nvidia.

Qu’est-ce que la 3DS ? Sa différence avec la HBM réside dans la capacité

Selon les informations publiées, Groq utiliserait la technologie 3DS (3D Stacked Memory), qui relie verticalement des puces de DRAM au moyen de vias traversants en silicium (TSV) pour former un boîtier à grande capacité. La mémoire à bande passante élevée (HBM) utilise également des TSV, mais ses objectifs de conception sont différents. La HBM privilégie la vitesse de transfert des données, tandis que la 3DS conserve l’interface DRAM existante et met l’accent sur l’augmentation de la capacité.

Groq n’est pas la seule entreprise à faire progresser les technologies d’empilement de mémoire. Comme l’a précédemment rapporté Chain News, SK hynix a lancé une stratégie de commercialisation de la DRAM-on-Logic en 3D. Cette technologie consiste à empiler directement la DRAM sur une puce logique. En réduisant la distance physique et en augmentant le nombre de canaux de transfert de données, elle vise à dépasser les limites de bande passante et de consommation énergétique des boîtiers PoP actuels. Elle cible principalement l’IA sur les appareils mobiles.

La différence entre les deux tient à leur architecture. On sait seulement, pour l’instant, que la 3DS de Groq empile de la DRAM afin d’augmenter la capacité ; rien n’indique si la DRAM est empilée au-dessus de la puce de calcul.

(La DRAM empilée en 3D, une condition préalable au déploiement de l’IA sur les appareils ? SK hynix s’associerait à Apple pour s’imposer dans la mémoire de nouvelle génération)

Pourquoi la DRAM ? Un compromis sur la capacité adapté à l’inférence de l’IA

ZDNet indique que les conceptions précédentes de Groq étaient centrées sur la SRAM : rapide, mais de faible capacité. La DRAM est relativement plus lente, mais convient mieux aux grandes capacités. Selon l’analyse de l’article, Groq cherche ainsi à s’affranchir des limites de capacité de ses conceptions existantes. Un autre acteur du secteur estime que le marché dans son ensemble évolue vers des puces de plus grande taille, et que Groq a donc choisi la DRAM, qui offre une capacité supérieure.

Du point de vue de l’inférence de l’IA, ce compromis semble tout à fait logique. Les paramètres des LLM et la longueur de leur contexte ne cessent d’augmenter, entraînant une hausse des besoins en capacité mémoire ; la SRAM seule peut vite montrer ses limites.

La SRAM présente toutefois des avantages en matière de vitesse et de latence. On ignore encore si ces caractéristiques pourront être préservées avec le passage à la DRAM. Il faudra attendre des explications de Groq ou de Nvidia pour évaluer la réalité de ce changement de conception et ses effets concrets.

(À l’ère de l’inférence de l’IA, les hiérarchies mémoire se réorganisent : tout comprendre aux différences entre HBF, SSD POD et SRAM)

Cet article, « Nvidia se lance dans les puces mémoire de nouvelle génération ! Groq intégrerait de la DRAM empilée en 3D pour répondre aux besoins de l’inférence de l’IA », a été publié en premier sur Chain News ABMedia.