Теперь OpenAI напрямую закладывает время ожидания в стоимость вычислений: для фоновых задач можно выбрать окно в 2 или 8 часов, а тарифы на токены будут на 30% или 40% ниже стандартных; пока единственный источник этих цифр — сама OpenAI.
У оптимизации затрат на ИИ появляется ещё один способ: не переходить на более дешёвую модель, а отправлять несрочные задачи в медленную очередь. Если компания отменит скидки или медленная очередь не сможет стабильно выполнять задачи в обещанные сроки, этот вывод перестанет быть верным.
У оптимизации затрат на ИИ появляется ещё один способ: не переходить на более дешёвую модель, а отправлять несрочные задачи в медленную очередь. Если компания отменит скидки или медленная очередь не сможет стабильно выполнять задачи в обещанные сроки, этот вывод перестанет быть верным.
