Qwen 3.5 35B lokal auszuführen war quälend langsam, bis ich ihm Zugriff auf die @NanoGPTcom-API gegeben habe

Jetzt kann es bei Bedarf mit leistungsstärkeren Modellen zusammenarbeiten

Die Geschwindigkeit ging von Schneckentempo auf rasend schnell 😮

So kann man lokale LLMs tatsächlich skalieren, ohne die GPU zu überlasten