La startup de chips de IA Groq, adquirida por NVIDIA, estaría planeando rediseñar la memoria de sus chips. El medio surcoreano ZDNet informó el 20 de octubre que Groq está evaluando incorporar tecnología de empaquetado 3D en sus chips de próxima generación y sustituir la SRAM, que hasta ahora ha sido un elemento central de su diseño, por DRAM. El objetivo es aumentar considerablemente la capacidad de memoria de cada chip.

¡Groq cambia el diseño de sus chips de próxima generación! Planea sustituir la SRAM por DRAM

ZDNet citó a dos fuentes anónimas de la industria de los semiconductores, que señalaron que Groq está estudiando aplicar tecnología de empaquetado 3D a sus chips de próxima generación, sustituyendo la SRAM del diseño actual por DRAM. Una de las fuentes indicó que Groq planea incorporar el empaquetado 3D en sus nuevos chips apilando DRAM, en lugar de seguir utilizando SRAM.

El encapsulado 3D consiste en apilar verticalmente varios dados semiconductores (Die) para que funcionen como un solo chip. Según el reportaje, en comparación con el diseño plano 2D tradicional, este método puede reducir el área y también podría mejorar la eficiencia energética.

Groq fue fundada en 2016 por Jonathan Ross, uno de los diseñadores de los TPU de Google, y la compañía fue adquirida por Nvidia el año pasado. Las noticias anteriores sobre la entrada en producción a gran escala del «Groq 3 LPX» indican que la línea de productos de Groq sigue avanzando dentro de la estructura de Nvidia.

¿Qué es 3DS? La diferencia con HBM está en la capacidad

Según el reportaje, se cree que Groq utiliza 3DS (3D Stacked Memory), que conecta verticalmente los dados de DRAM mediante vías a través del silicio (TSV) para formar un encapsulado de gran capacidad. Al igual que la memoria de alto ancho de banda (HBM), utiliza TSV, pero sus objetivos de diseño son distintos. HBM se centra en la velocidad de transferencia de datos, mientras que 3DS mantiene la interfaz DRAM existente y pone el énfasis en ampliar la capacidad.

Groq no es la única empresa que impulsa la tecnología de apilamiento de memoria. Como informó anteriormente Chain News, SK hynix ya ha iniciado sus planes de comercialización de DRAM-on-Logic con apilamiento 3D. Esta tecnología apila la DRAM directamente sobre un chip lógico y, al reducir la distancia física y aumentar los canales de transferencia de datos, busca superar las limitaciones de ancho de banda y consumo energético de los actuales encapsulados PoP. Está dirigida principalmente a la IA en dispositivos móviles.

La diferencia entre ambos radica en la arquitectura. Por ahora, solo se sabe que Groq 3DS apila DRAM para ampliar la capacidad; no se ha aclarado si la DRAM se apila sobre el dado de cómputo.

(¿Es la DRAM apilada en 3D un requisito para llevar la IA a los dispositivos? Según se informa, SK hynix se alía con Apple para apostar por la memoria de próxima generación)

¿Por qué DRAM? El equilibrio entre capacidad y rendimiento se ajusta a la inferencia de IA

ZDNet señala que los diseños anteriores de Groq se centraban en SRAM, que es rápida, pero tiene poca capacidad; la DRAM es relativamente más lenta, pero resulta más adecuada para ofrecer gran capacidad. El reportaje interpreta que Groq busca con este cambio superar las limitaciones de capacidad de sus diseños anteriores. Otro profesional del sector analiza que el mercado en general avanza hacia chips de mayor tamaño, por lo que Groq ha optado por la DRAM, que ofrece ventajas en cuanto a capacidad.

Desde la perspectiva de la inferencia de IA, este equilibrio parece razonable. Los parámetros de los LLM y la longitud del contexto siguen creciendo, y con ellos también aumenta la capacidad de memoria necesaria, algo que puede limitarse fácilmente si se depende únicamente de SRAM.

Sin embargo, las ventajas de la SRAM son la velocidad y la latencia. Aún no está claro si estas características podrán mantenerse tras adoptar DRAM. Habrá que esperar a que Groq o Nvidia se pronuncien para determinar la veracidad y el impacto real de este cambio de diseño.

(La reorganización de la jerarquía de memoria en la era de la inferencia de IA: descubre en un artículo las diferencias entre HBF, SSD POD y SRAM)

Este artículo «¡Nvidia apuesta por chips de memoria de próxima generación! Según se informa, Groq incorporará DRAM apilada en 3D para responder a las necesidades de inferencia de IA» apareció originalmente en Chain News ABMedia.