H200 schlägt H100 für KI-Inferenz.
Aber nicht aus dem Grund, den du denkst.
Wir haben dasselbe DeepSeek-Modell auf beiden GPUs mit demselben Traffic für 10 Tage laufen lassen. Die H200 lieferte 2,5× mehr Tokens bei nur 33% höheren Mietkosten.
Doch die wichtigste Erkenntnis lag nicht bei den GPUs. Sie lag daran, wie sie miteinander verbunden sind.
NVSwitch vs. PCIe veränderte, welche Workloads und Konfigurationen tatsächlich möglich waren.
Wenn du also KI-Infrastruktur auswählst, lies nicht nur das Datenblatt der GPU. Prüfe die Interconnect-Verbindung.
Aber nicht aus dem Grund, den du denkst.
Wir haben dasselbe DeepSeek-Modell auf beiden GPUs mit demselben Traffic für 10 Tage laufen lassen. Die H200 lieferte 2,5× mehr Tokens bei nur 33% höheren Mietkosten.
Doch die wichtigste Erkenntnis lag nicht bei den GPUs. Sie lag daran, wie sie miteinander verbunden sind.
NVSwitch vs. PCIe veränderte, welche Workloads und Konfigurationen tatsächlich möglich waren.
Wenn du also KI-Infrastruktur auswählst, lies nicht nur das Datenblatt der GPU. Prüfe die Interconnect-Verbindung.