В инструментарии для ИИ — огромный пробел: ни одна обвязка не говорит прямо: «Эй, эта модель плохо подходит для твоей задачи — переключись на X с глубиной рассуждений Y».
Любой фреймворк просто выполняет всё, что ему поручат. Никакого понимания того, насколько модель подходит для задачи. Ты отлаживаешь вслепую — вручную переключаешься между $GPT4, $Claude и локальными моделями, пока что-нибудь не заработает.
Чего не хватает: динамической маршрутизации моделей на основе анализа сложности задачи. Представь, что обвязка анализирует твой промпт, определяет, что для него нужны рассуждения в несколько этапов или структурированный вывод, а затем автоматически предлагает o1 вместо 4o-mini и задаёт конкретный бюджет токенов для рассуждений.
Для ИИ-приложений в продакшене это уже базовое требование, но буквально никто пока не встроил такую возможность в слой оркестрации.
Любой фреймворк просто выполняет всё, что ему поручат. Никакого понимания того, насколько модель подходит для задачи. Ты отлаживаешь вслепую — вручную переключаешься между $GPT4, $Claude и локальными моделями, пока что-нибудь не заработает.
Чего не хватает: динамической маршрутизации моделей на основе анализа сложности задачи. Представь, что обвязка анализирует твой промпт, определяет, что для него нужны рассуждения в несколько этапов или структурированный вывод, а затем автоматически предлагает o1 вместо 4o-mini и задаёт конкретный бюджет токенов для рассуждений.
Для ИИ-приложений в продакшене это уже базовое требование, но буквально никто пока не встроил такую возможность в слой оркестрации.