Ich dachte früher, dass Inferenz der teure Teil von KI ist.
Jetzt denke ich, dass es die Unsicherheit ist.
Das Modell kann in Sekunden eine Antwort generieren.
Aber wenn ich die nächsten zehn Minuten damit verbringe, zu prüfen, woher sie kam, welche Version sie erzeugt hat, ob ich sie reproduzieren kann oder ob ich ihr vertrauen sollte...
Dann waren die echten Kosten nicht der Rechenaufwand.
Es war die Unsicherheit.
Das hat meine Sicht auf OpenGradient verändert.
Vielleicht sollte die KI-Infrastruktur nicht nur anhand der Inferenzgeschwindigkeit gemessen werden.
Vielleicht sollte sie auch anhand der Reduzierung von Unsicherheit gemessen werden.
Jeder Beweis, jedes Ausführungsprotokoll, jedes reproduzierbare Ergebnis nimmt dem System ein wenig mehr Zweifel.
Mit der Zeit könnte das wertvoller werden als es, Modelle nur ein wenig schneller zu machen.
Ich glaube nicht, dass die zukünftige KI-Wirtschaft demjenigen belohnt, der am günstigsten rechnet.
Ich glaube, sie wird demjenigen belohnen, der bei jeder Berechnung die geringste Menge Unsicherheit zurücklässt.
Vielleicht denke ich zu viel darüber nach...
Aber Unsicherheit fühlt sich an wie die versteckte Transaktionsgebühr von KI.
#OPG @OpenGradient $OPG