Локальная модель Qwen 3.5 35B работала мучительно медленно, пока я не подключил её к API @NanoGPTcom
Теперь при необходимости она может взаимодействовать с более мощными моделями
Скорость выросла с черепашьей до молниеносной 😮
Вот как масштабировать локальные LLM, не сжигая видеокарту
Теперь при необходимости она может взаимодействовать с более мощными моделями
Скорость выросла с черепашьей до молниеносной 😮
Вот как масштабировать локальные LLM, не сжигая видеокарту