Epoch AI hat einen neuen Inferenzindex vorgestellt, in dem die GB300 NVL72 deutlich vor der H100 liegt.

Laut Crypto Briefing misst dieser Index die Leistung bei Inferenzaufgaben und nicht beim Training. Im Mittelpunkt stehen Speicher und Kommunikation statt roher Rechenleistung – darin soll sich der Index von anderen Ansätzen unterscheiden. Das Material enthält keine konkreten Punktzahlen, Testmodelle oder Angaben dazu, um welchen Faktor die beiden Systeme auseinanderliegen.

· Bei Inferenzaufgaben könnte die Systemintegration den Leistungsunterschied besser erklären als die Rechenleistung einer einzelnen Karte. Das ist der Bewertungsrahmen des Berichts, kein Ergebnis konkreter Messungen.
· Der Index basiert auf einer von Epoch AI selbst entwickelten Methode. Für den Vergleich mit anderen Chips ist daher die von Epoch AI veröffentlichte Methodik maßgeblich.

Wenn du nur die Inferenzkosten betrachtest: Würdest du zuerst die Speicherbandbreite oder die Kommunikation zwischen den Karten vergleichen?