A SemiAnalysis acredita que o novo modo Ultrafast da OpenAI, que pode atingir cerca de 300 tokens/segundo, NÃO está sendo executado na Cerebras.
Em vez disso, eles acreditam que a OpenAI está servindo isso com tamanhos de batch bem baixos em GPUs NVIDIA, possivelmente em hardware da classe Blackwell como o GB300 de <$NVDA ’s>.
Em vez disso, eles acreditam que a OpenAI está servindo isso com tamanhos de batch bem baixos em GPUs NVIDIA, possivelmente em hardware da classe Blackwell como o GB300 de <$NVDA ’s>.