Samsung Electronics ha presentado zHBM, una tecnología de memoria que puede apilarse directamente sobre chips de IA en 3D. Según Sina Finance, Samsung dijo que el avance está dirigido a aumentar la velocidad de respuesta de los sistemas de IA existentes en más de 10 veces.
El 16 de septiembre, Kim Indong, jefe de planificación de productos de memoria en el área de Samsung America Semiconductor Division (DSA), ofreció una ponencia magistral en la Cumbre de Infraestructura de IA en el Santa Clara Convention Center, en California, en la que describió un cambio de paradigma en los chips de almacenamiento para IA. Kim afirmó que los sistemas actuales de IA conversacional tienen un límite de respuesta por usuario de aproximadamente 100 tokens por segundo, y que Samsung busca elevarlo a 1.000 tokens por segundo para la próxima era de agentes de IA.
Samsung también lanzó una hoja de ruta tecnológica para zNAND-O, una solución de almacenamiento 3D basada en NAND para el mercado de la IA en el borde. Kim dijo que para 2030 la implementación local de modelos grandes de billones de parámetros en dispositivos como estaciones de trabajo de IA se volverá algo común, y que usar zNAND-O en lugar de DRAM para construir la memoria para modelos de billones de parámetros costaría solo una sexta parte. Samsung planea comenzar a suministrar muestras de zNAND-O a los clientes a gran escala a partir de 2028.