Der Wettbewerb im KI-Bereich ist jetzt in die nächste Phase getreten:
Jetzt konkurrieren alle nicht nur um die Leistungsfähigkeit der Modelle, sondern auch um die Kosten und die Integration der gesamten Lieferkette.
OpenAI hat seine erste selbst entwickelte Generation an Chips veröffentlicht und damit direkt alle vergleichbaren nachweisbaren Inferencing-ASICs von Nvidia, AMD und Google geschlagen.
Dieser Chip wurde von Grund auf speziell für das Inference von großen Sprachmodellen entwickelt. Von der Entwicklung ab Mitte 2024 bis zur Tape-out-Phase hat es nur 16 Monate gedauert.
Er ist ein Allzweck-Inference-Chip und nicht nur dafür gedacht, die eigenen Modelle von OpenAI auszuführen. In der Artikel-Demo testeten sie die Inference-Effizienz von DeepSeek R1 sowie Kimi 2.5. Damit lassen sich verschiedene Modelle und Workloads ausführen – sogar Doom-Spiele.
Derzeit gibt es den Chip nur als Engineering-Muster. Der Produktionsanlauf und der Ramp-up sollen 2027 beginnen; der Großteil der Kapazitäten wird voraussichtlich bis Ende des nächsten Jahres aufgebaut.
Der Chip wurde speziell auf Leistung pro Watt (Energieeffizienz) optimiert. Denn das zentrale Engpassproblem aktueller Rechenzentren ist Strom – nicht Budget oder Flächenbedarf. Daher muss er bei extrem niedrigem Stromverbrauch eine möglichst hohe Inference-Effizienz erreichen.
Sein Durchsatz pro Watt übertrifft den Blackwell von Nvidia in allen Belangen und liegt sogar über dem Rubin-Ansatz mit HBM4:
DeepSeek R1 über 700 Token/s pro Nutzer
GPT OSS über 1400 Token/s
Kimi 2.5 nahe 700 Token/s pro Nutzer
Bemerkenswert ist zudem, dass auch das noch nicht veröffentlichte Astra-AI-Modell von OpenAI tief in die Entwicklung dieses Chips eingebunden war. Das könnte der entscheidende Grund dafür sein, dass er extrem energieeffizient ist und die Entwicklungsdauer sehr kurz.
Das Chip-Team hat drei Open-Source-Modelle, die ursprünglich nicht in den Produktionsplan aufgenommen waren, innerhalb von zwei Monaten mit Codex und GPT Astro auf die höchste Leistungsstufe optimiert. Die KI-generierten Teile der Module sind sogar 1,5 bis 1,8-mal schneller als die von menschlichen Experten verfassten Module.
Zwar wirkt es geradezu ironisch: OpenAI-Modelle, die auf Nvidia-GPUs laufen, helfen dabei, einen Chip zu entwerfen, der darauf abzielt, Nvidias CUDA-Vorsprung auszustechen.
Das nächste Ziel von OpenAI ist es, eine Einsatzgröße von 100 MW zu erreichen. Geplant ist, den Chip noch in diesem Jahr in festem Umfang offiziell in der eigenen Infrastruktur zu deployen.
Jetzt konkurrieren alle nicht nur um die Leistungsfähigkeit der Modelle, sondern auch um die Kosten und die Integration der gesamten Lieferkette.
OpenAI hat seine erste selbst entwickelte Generation an Chips veröffentlicht und damit direkt alle vergleichbaren nachweisbaren Inferencing-ASICs von Nvidia, AMD und Google geschlagen.
Dieser Chip wurde von Grund auf speziell für das Inference von großen Sprachmodellen entwickelt. Von der Entwicklung ab Mitte 2024 bis zur Tape-out-Phase hat es nur 16 Monate gedauert.
Er ist ein Allzweck-Inference-Chip und nicht nur dafür gedacht, die eigenen Modelle von OpenAI auszuführen. In der Artikel-Demo testeten sie die Inference-Effizienz von DeepSeek R1 sowie Kimi 2.5. Damit lassen sich verschiedene Modelle und Workloads ausführen – sogar Doom-Spiele.
Derzeit gibt es den Chip nur als Engineering-Muster. Der Produktionsanlauf und der Ramp-up sollen 2027 beginnen; der Großteil der Kapazitäten wird voraussichtlich bis Ende des nächsten Jahres aufgebaut.
Der Chip wurde speziell auf Leistung pro Watt (Energieeffizienz) optimiert. Denn das zentrale Engpassproblem aktueller Rechenzentren ist Strom – nicht Budget oder Flächenbedarf. Daher muss er bei extrem niedrigem Stromverbrauch eine möglichst hohe Inference-Effizienz erreichen.
Sein Durchsatz pro Watt übertrifft den Blackwell von Nvidia in allen Belangen und liegt sogar über dem Rubin-Ansatz mit HBM4:
DeepSeek R1 über 700 Token/s pro Nutzer
GPT OSS über 1400 Token/s
Kimi 2.5 nahe 700 Token/s pro Nutzer
Bemerkenswert ist zudem, dass auch das noch nicht veröffentlichte Astra-AI-Modell von OpenAI tief in die Entwicklung dieses Chips eingebunden war. Das könnte der entscheidende Grund dafür sein, dass er extrem energieeffizient ist und die Entwicklungsdauer sehr kurz.
Das Chip-Team hat drei Open-Source-Modelle, die ursprünglich nicht in den Produktionsplan aufgenommen waren, innerhalb von zwei Monaten mit Codex und GPT Astro auf die höchste Leistungsstufe optimiert. Die KI-generierten Teile der Module sind sogar 1,5 bis 1,8-mal schneller als die von menschlichen Experten verfassten Module.
Zwar wirkt es geradezu ironisch: OpenAI-Modelle, die auf Nvidia-GPUs laufen, helfen dabei, einen Chip zu entwerfen, der darauf abzielt, Nvidias CUDA-Vorsprung auszustechen.
Das nächste Ziel von OpenAI ist es, eine Einsatzgröße von 100 MW zu erreichen. Geplant ist, den Chip noch in diesem Jahr in festem Umfang offiziell in der eigenen Infrastruktur zu deployen.
