Vorvorgestern wurden 1,6 Milliarden Token verbraucht, alles GPT-5.6 Sol.
Rechnen wir nach den API-Input-Preisen (5 $/Million Token) = 8.000 $.
Alles hat sogar komplett den Cache getroffen und zusätzlich 800 $ gekostet.
An einem Tag: ein Entwickler.
In der Zwischenzeit hat jemand geklagt: Jedes Mal, wenn man ein lokales Inferenz-Setup aufziehen will, und sich dann die immer größere Parameterzahl der Open-Source-Modelle ansieht, vergehen einem die Gedanken. Für ein paar Zehntausend Dollar etwas halb Gutes hinzubauen – am Ende doch nur ein dürftiger Effekt. Besser ganz ehrlich jeden Monat Miete zahlen.
Diese beiden Dinge beschreiben dieselbe Tatsache: Die Ökonomie des KI-Inferenzs spaltet sich auf.
Entweder du zahlst eine Monatsmiete für das teuerste Frontier-Model und bekommst die beste Leistung
oder du gibst ein paar Zehntausend für lokale Inferenz aus – mit Performance-Abstrichen und du musst auch noch selbst warten
Die Zone dazwischen verschwindet
Für Investoren gilt: Die Untergrenze der Inferenzkosten wird durch das teuerste Modell als Referenz festgelegt, die Obergrenze durch die Zahlungsbereitschaft der Nutzer. Solange der Anteil der Aufrufe des Frontier-Models sinkt, lässt der Druck auf die Inferenzkosten nach – aber missversteh das nicht: Die gesamte verbrauchte Menge wächst trotzdem exponentiell.
#AI #GPT #推理成本