1/2
Ich dachte, ich hätte in Codex ein Kontextfenster von 1 Mio.
Dann fiel mir auf, dass in meinem Astra-Chat 172k von 258k als verwendet angezeigt wurden.
In Astras API-Spezifikation sind zwar 1,05 Mio. Tokens angegeben, aber Codex kann standardmäßig ein kleineres Kontextfenster verwenden.
In meiner Konfiguration waren standardmäßig 272.000 Tokens eingestellt.
Mit dem Faktor von 95 % für das nutzbare Kontextfenster des Clients erklärt das die in der App angezeigten 258k.
Das Maximum in meinem lokalen Modellkatalog lag bei 872.000 Tokens, was etwa 828k nutzbaren Tokens entspricht.
In deiner Konfiguration kann ein anderes Limit gelten. Daher lohnt es sich, Codex erst prüfen zu lassen, bevor du es änderst.
Ein Nachteil: Wenn mehr Verlauf im aktiven Kontext bleibt, kann das mehr von deinem Kontingent verbrauchen.
Allein durch das Anheben des Limits wird nicht jede Anfrage das gesamte Kontextfenster ausschöpfen.
Wenn du bei Codex über ChatGPT angemeldet bist, gibt es keinen separaten Multiplikator für lange Kontexte, aber die Verarbeitung von mehr Tokens wird trotzdem angerechnet.
Wenn du deinen eigenen API-Schlüssel verwendest, gelten die API-Preise.
Wenn du das größte von deiner Konfiguration unterstützte Kontextfenster möchtest, füge Folgendes in Codex ein:
---------------------------
Ich dachte, ich hätte in Codex ein Kontextfenster von 1 Mio.
Dann fiel mir auf, dass in meinem Astra-Chat 172k von 258k als verwendet angezeigt wurden.
In Astras API-Spezifikation sind zwar 1,05 Mio. Tokens angegeben, aber Codex kann standardmäßig ein kleineres Kontextfenster verwenden.
In meiner Konfiguration waren standardmäßig 272.000 Tokens eingestellt.
Mit dem Faktor von 95 % für das nutzbare Kontextfenster des Clients erklärt das die in der App angezeigten 258k.
Das Maximum in meinem lokalen Modellkatalog lag bei 872.000 Tokens, was etwa 828k nutzbaren Tokens entspricht.
In deiner Konfiguration kann ein anderes Limit gelten. Daher lohnt es sich, Codex erst prüfen zu lassen, bevor du es änderst.
Ein Nachteil: Wenn mehr Verlauf im aktiven Kontext bleibt, kann das mehr von deinem Kontingent verbrauchen.
Allein durch das Anheben des Limits wird nicht jede Anfrage das gesamte Kontextfenster ausschöpfen.
Wenn du bei Codex über ChatGPT angemeldet bist, gibt es keinen separaten Multiplikator für lange Kontexte, aber die Verarbeitung von mehr Tokens wird trotzdem angerechnet.
Wenn du deinen eigenen API-Schlüssel verwendest, gelten die API-Preise.
Wenn du das größte von deiner Konfiguration unterstützte Kontextfenster möchtest, füge Folgendes in Codex ein:
---------------------------
