H200 supera o H100 para inferência de IA.
Mas não pelo motivo que você imagina.
Rodamos o mesmo modelo DeepSeek em ambas as GPUs, com o mesmo tráfego, por 10 dias. O H200 entregou 2,5× mais tokens por apenas 33% a mais no custo do aluguel.
Mas a maior lição não foi sobre as GPUs. Foi sobre como elas estão conectadas.
NVSwitch vs PCIe mudou quais cargas de trabalho e configurações eram realmente possíveis.
Então, ao escolher a infraestrutura de IA, não leia apenas a ficha técnica da GPU. Verifique a interconexão.
Mas não pelo motivo que você imagina.
Rodamos o mesmo modelo DeepSeek em ambas as GPUs, com o mesmo tráfego, por 10 dias. O H200 entregou 2,5× mais tokens por apenas 33% a mais no custo do aluguel.
Mas a maior lição não foi sobre as GPUs. Foi sobre como elas estão conectadas.
NVSwitch vs PCIe mudou quais cargas de trabalho e configurações eram realmente possíveis.
Então, ao escolher a infraestrutura de IA, não leia apenas a ficha técnica da GPU. Verifique a interconexão.