La startup de chips de IA Groq, adquirida por NVIDIA, estaría planeando rediseñar la memoria de sus chips. El medio surcoreano ZDNet informó el 20 de octubre que Groq está evaluando incorporar tecnología de empaquetado 3D en sus chips de próxima generación y reemplazar la SRAM, que hasta ahora ha sido el elemento central de su diseño, por DRAM. El objetivo es aumentar considerablemente la capacidad de memoria de cada chip.
¡Groq cambia el diseño de sus chips de próxima generación! Planea reemplazar la SRAM por DRAM
Según ZDNet, que cita a dos fuentes anónimas del sector de los semiconductores, Groq está estudiando la posibilidad de aplicar tecnología de empaquetado 3D a sus chips de próxima generación y reemplazar la SRAM de sus diseños actuales por DRAM. Una fuente del sector señaló que Groq planea incorporar el empaquetado 3D en sus nuevos chips, apilando DRAM en lugar de seguir utilizando SRAM.
El empaquetado 3D consiste en apilar verticalmente varios chips semiconductores (die) para que funcionen como un único chip. Según el informe, en comparación con el diseño plano 2D tradicional, este método puede reducir el tamaño y también podría mejorar la eficiencia energética.
Groq fue fundada en 2016 por Jonathan Ross, uno de los diseñadores de TPU de Google. El año pasado, Nvidia adquirió la empresa. Las noticias anteriores sobre el inicio de la producción en masa de su «Groq 3 LPX» indican que la línea de productos de Groq sigue avanzando dentro de la estructura de Nvidia.
¿Qué es 3DS? Diferencias con HBM en cuanto a capacidad
Según el informe, se cree que Groq emplea 3DS (memoria apilada en 3D), que conecta verticalmente chips DRAM mediante vías a través del silicio (TSV) para formar un encapsulado de gran capacidad. Al igual que la memoria de alto ancho de banda (HBM), utiliza TSV, pero sus objetivos de diseño son distintos. HBM prioriza la velocidad de transferencia de datos, mientras que 3DS mantiene la interfaz DRAM existente y se centra en ampliar la capacidad.
Groq no es la única empresa que impulsa la tecnología de apilamiento de memoria. Como informó anteriormente Chain News, SK hynix ya ha iniciado sus planes de comercialización de DRAM-on-Logic con apilamiento 3D. Esta tecnología apila DRAM directamente sobre un chip lógico y, al acortar la distancia física y aumentar los canales de transferencia de datos, busca superar las limitaciones de ancho de banda y consumo energético del encapsulado PoP actual. Está dirigida principalmente a la IA en dispositivos móviles.
La diferencia entre ambos radica en la arquitectura: por ahora, solo se sabe que Groq 3DS apila DRAM para ampliar la capacidad, pero no se ha especificado si la DRAM se apila sobre el chip de cómputo.
¿Por qué DRAM? La capacidad como contrapartida para satisfacer las necesidades de la inferencia de IA
ZDNet señala que los diseños anteriores de Groq se centraban en SRAM, que es rápida, pero tiene poca capacidad; la DRAM es relativamente más lenta, pero resulta más adecuada para ofrecer una gran capacidad. El informe interpreta que Groq busca así superar las limitaciones de capacidad de sus diseños anteriores. Otro profesional del sector analiza que el mercado en su conjunto avanza hacia chips de mayor tamaño, por lo que Groq ha optado por la DRAM, que ofrece ventajas en términos de capacidad.
Desde la perspectiva de la inferencia de IA, esta decisión parece bastante razonable. Los parámetros de los LLM y la longitud de su contexto siguen creciendo, y la capacidad de memoria necesaria aumenta en consecuencia, por lo que depender únicamente de SRAM puede resultar limitante.
Sin embargo, las ventajas de SRAM residen en su velocidad y latencia. Aún no está claro si estas características podrán mantenerse tras adoptar DRAM. Habrá que esperar a que Groq o Nvidia den más explicaciones para poder evaluar la veracidad y el impacto real de este cambio de diseño.
Este artículo se reproduce con autorización de: (Chain News)
Título original: (¡Nvidia avanza hacia los chips de memoria de próxima generación! Se rumorea que Groq incorporará DRAM apilada en 3D para responder a las necesidades de la inferencia de IA)
Autor original: Crumax
El artículo «¡Nvidia responde a las necesidades de la inferencia de IA! Se rumorea que Groq incorporará DRAM apilada en 3D para desarrollar chips de memoria de próxima generación» se publicó originalmente en «Crypto City»