Tag für den Tag: Einer zündet GPT-5.6 Sol am Vortag an und verbrennt 1,6 Milliarden Tokens. Nach dem API-Eingabepreis von 5 $/Million Tokens sind das 8000 $. Selbst wenn alles im Cache wäre, wären es immer noch 800 $.
An einem Tag. Eine Person.
Also, für alle, die daran denken, „für ein paar zehntausend Yuan eine lokale Inferenzumgebung zusammenzustellen“: spart euch das. Die Parameterzahlen Open-Source-Modelle werden immer größer; was mit ein paar zehntausend Yuan erreicht wird, ist am Ende nur lauwarm. Besser ganz brav monatlich mieten. Das ist kein Technikproblem, sondern Skaleneffekte: Die GPU-Cluster der großen Firmen zermalmen dich mit ihren Grenzkosten.
Auch die Anbieter großer Modelle haben es nicht leicht: Die Rechenleistung muss garantiert werden, um mit der Version Schritt zu halten, ohne das C-Ende und die Nutzer zu beeinträchtigen; Daten müssen vor dem Börsengang in Form hübscher Abo-Zahlen herausgebracht werden; und der Cashflow muss die Trainingskosten tragen. Drei große Berge drücken drauf — selbst Unicorns müssen schuften wie Knechte.
Die Wahrheit über KI: Rechenleistung ist Öl, die monatliche Miete ist die Tankstelle, lokale Inferenz ist ein Fahrrad.
#AI #GPT5 #算力
An einem Tag. Eine Person.
Also, für alle, die daran denken, „für ein paar zehntausend Yuan eine lokale Inferenzumgebung zusammenzustellen“: spart euch das. Die Parameterzahlen Open-Source-Modelle werden immer größer; was mit ein paar zehntausend Yuan erreicht wird, ist am Ende nur lauwarm. Besser ganz brav monatlich mieten. Das ist kein Technikproblem, sondern Skaleneffekte: Die GPU-Cluster der großen Firmen zermalmen dich mit ihren Grenzkosten.
Auch die Anbieter großer Modelle haben es nicht leicht: Die Rechenleistung muss garantiert werden, um mit der Version Schritt zu halten, ohne das C-Ende und die Nutzer zu beeinträchtigen; Daten müssen vor dem Börsengang in Form hübscher Abo-Zahlen herausgebracht werden; und der Cashflow muss die Trainingskosten tragen. Drei große Berge drücken drauf — selbst Unicorns müssen schuften wie Knechte.
Die Wahrheit über KI: Rechenleistung ist Öl, die monatliche Miete ist die Tankstelle, lokale Inferenz ist ein Fahrrad.
#AI #GPT5 #算力