1/2
Я думал, что в Codex у меня контекстное окно на 1 млн токенов.
Но потом заметил, что в моём чате Astra использовано 172 тыс. из 258 тыс. токенов.
В спецификации API Astra действительно указано 1,05 млн токенов, но Codex по умолчанию может использовать контекстное окно меньшего размера.
В моей конфигурации по умолчанию было 272 000 токенов.
Если учесть коэффициент доступного окна клиента в 95%, становится понятно, почему в приложении отображается 258 тыс.
Максимум в моём локальном каталоге моделей составлял 872 000 токенов, что соответствует примерно 828 тыс. доступных токенов.
В вашей конфигурации лимит может быть другим, поэтому перед изменением стоит попросить Codex его проверить.
Есть один компромисс: если сохранять в активном контексте больше истории, это может расходовать большую часть вашего лимита.
Простое увеличение предела не означает, что каждый запрос будет занимать всё окно.
Если вы вошли в Codex через ChatGPT, отдельного множителя для длинного контекста нет, но обработка большего количества токенов всё равно учитывается.
При использовании собственного API-ключа действует тарификация API.
Если вам нужно максимально большое окно, поддерживаемое вашей конфигурацией, вставьте это в Codex:
---------------------------
Я думал, что в Codex у меня контекстное окно на 1 млн токенов.
Но потом заметил, что в моём чате Astra использовано 172 тыс. из 258 тыс. токенов.
В спецификации API Astra действительно указано 1,05 млн токенов, но Codex по умолчанию может использовать контекстное окно меньшего размера.
В моей конфигурации по умолчанию было 272 000 токенов.
Если учесть коэффициент доступного окна клиента в 95%, становится понятно, почему в приложении отображается 258 тыс.
Максимум в моём локальном каталоге моделей составлял 872 000 токенов, что соответствует примерно 828 тыс. доступных токенов.
В вашей конфигурации лимит может быть другим, поэтому перед изменением стоит попросить Codex его проверить.
Есть один компромисс: если сохранять в активном контексте больше истории, это может расходовать большую часть вашего лимита.
Простое увеличение предела не означает, что каждый запрос будет занимать всё окно.
Если вы вошли в Codex через ChatGPT, отдельного множителя для длинного контекста нет, но обработка большего количества токенов всё равно учитывается.
При использовании собственного API-ключа действует тарификация API.
Если вам нужно максимально большое окно, поддерживаемое вашей конфигурацией, вставьте это в Codex:
---------------------------
