A Groq, startup de chips de IA adquirida pela NVIDIA, estaria planejando reformular o projeto de memória de seus chips. Em reportagem publicada em 20 de outubro, a sul-coreana ZDNet informou que a Groq está avaliando a adoção da tecnologia de empacotamento 3D em seus chips de próxima geração, substituindo a SRAM — que era o elemento central do projeto original — por DRAM. O objetivo é aumentar significativamente a capacidade de memória de cada chip.
Mudança nos chips de próxima geração da Groq! Empresa planeja substituir SRAM por DRAM
Segundo a ZDNet, que cita dois profissionais anônimos do setor de semicondutores, a Groq está avaliando o uso de tecnologia de empacotamento 3D em seus chips de próxima geração, substituindo a SRAM do projeto atual por DRAM. Um dos profissionais afirmou que a Groq planeja incorporar o empacotamento 3D aos novos chips, empilhando DRAM em vez de manter a SRAM.
O encapsulamento 3D empilha verticalmente vários dies de semicondutores, fazendo com que funcionem como um único chip. Segundo a reportagem, em comparação com o design planar 2D tradicional, essa abordagem pode reduzir a área ocupada e também tem potencial para aumentar a eficiência energética.
A Groq foi fundada em 2016 por Jonathan Ross, um dos designers do TPU do Google, e foi adquirida pela Nvidia no ano passado. Notícias anteriores de que o «Groq 3 LPX» já entrou em produção em massa indicam que a linha de produtos da Groq continua a avançar dentro da estrutura da Nvidia.
O que é 3DS? Diferenças em relação à HBM em termos de capacidade
Segundo a reportagem, a Groq terá adotado a tecnologia 3DS (3D Stacked Memory), que usa vias através do silício (TSV) para conectar dies de DRAM verticalmente e formar um encapsulamento de alta capacidade. Tal como a memória de alta largura de banda (HBM), a tecnologia 3DS também usa TSV, mas os seus objetivos de design são diferentes. A HBM dá prioridade à velocidade de transferência de dados, enquanto a 3DS mantém a interface DRAM existente e se concentra na expansão da capacidade.
A Groq não é a única a avançar com tecnologias de empilhamento de memória. Conforme noticiado anteriormente pelo Chain News, a SK hynix já iniciou os seus planos de comercialização da DRAM-on-Logic 3D empilhada. Essa tecnologia empilha a DRAM diretamente sobre o chip lógico e, ao encurtar a distância física e aumentar os canais de transferência de dados, procura superar as limitações de largura de banda e consumo energético dos atuais encapsulamentos PoP. O foco principal são aplicações de IA em dispositivos móveis.
A diferença entre as duas está na arquitetura. Sabe-se, por enquanto, apenas que a Groq 3DS empilha DRAM para expandir a capacidade, sem esclarecer se a DRAM é empilhada sobre o die de computação.
(DRAM 3D empilhada é essencial para levar a IA aos dispositivos? SK hynix poderá unir-se à Apple para apostar na memória de próxima geração)
Por que DRAM? A capacidade como prioridade atende às necessidades da inferência de IA
A ZDNet observa que os designs anteriores da Groq tinham a SRAM como base: são rápidos, mas têm pouca capacidade. A DRAM é relativamente mais lenta, mas é mais adequada para oferecer grande capacidade. A reportagem interpreta essa iniciativa da Groq como uma tentativa de superar as limitações de capacidade dos designs existentes. Outro profissional do setor analisa que o mercado, como um todo, está a evoluir para chips maiores e que, por isso, a Groq escolheu a DRAM, que oferece vantagens em termos de capacidade.
Se analisarmos a questão do ponto de vista da inferência de IA, essa escolha é bastante razoável. Os parâmetros dos LLM e o comprimento do contexto continuam a aumentar, elevando também a capacidade de memória necessária, e depender apenas da SRAM pode ser limitador.
No entanto, a SRAM tem como vantagens a velocidade e a latência. Ainda não se sabe se essas características poderão ser mantidas após a adoção da DRAM. Será necessário aguardar esclarecimentos da Groq ou da Nvidia para avaliar a veracidade e o impacto real desta mudança de design.
(A reconfiguração da hierarquia de memória na era da inferência de IA: entenda as diferenças entre HBF, SSD POD e SRAM)
Este artigo, «Nvidia aposta em chips de memória de próxima geração! Groq poderá adotar DRAM 3D empilhada para responder às necessidades da inferência de IA», foi publicado originalmente no Chain News ABMedia.