A Samsung Electronics apresentou a zHBM, uma tecnologia de memória que pode ser empilhada diretamente sobre chips de IA em 3D. Segundo a Sina Finance, a Samsung disse que a conquista tem como objetivo aumentar a velocidade de resposta dos sistemas de IA existentes em mais de 10 vezes.

Em 16 de setembro, Kim Indong, chefe do planejamento de produtos de memória na divisão de semicondutores da Samsung America (DSA), fez uma palestra na conferência de AI Infrastructure Summit no Santa Clara Convention Center, na Califórnia, descrevendo uma mudança de paradigma em chips de armazenamento para IA. Kim afirmou que os atuais sistemas de IA conversacional têm um limite de resposta por usuário de cerca de 100 tokens por segundo, e que a Samsung pretende elevar esse valor para 1.000 tokens por segundo na era dos próximos agentes de IA.

A Samsung também divulgou um roteiro tecnológico para o zNAND-O, uma solução de armazenamento 3D baseada em NAND voltada para o mercado de edge AI. Kim disse que, até 2030, a implantação local de modelos grandes com trilhões de parâmetros em dispositivos como estações de trabalho de IA se tornará comum, e que o uso do zNAND-O em vez de DRAM para construir a memória para modelos com trilhões de parâmetros custaria apenas um sexto do valor. A Samsung planeja começar a fornecer amostras de zNAND-O aos clientes em grande escala a partir de 2028.