SemiAnalysis cree que el nuevo modo ultrarrápido de OpenAI, que puede alcanzar alrededor de 300 tokens/segundo, NO se está ejecutando en Cerebras.
En cambio, creen que OpenAI lo está sirviendo con tamaños de lote muy bajos en GPUs NVIDIA, potencialmente en hardware de clase Blackwell como el GB300 de $NVDA .
En cambio, creen que OpenAI lo está sirviendo con tamaños de lote muy bajos en GPUs NVIDIA, potencialmente en hardware de clase Blackwell como el GB300 de $NVDA .