Heute Abend wurde ein 26B-Modell mit ~20 GB für viele zum lokalen Standard. Nicht mehr die Leistungsfähigkeit war der Engpass, sondern die Speicherbandbreite – und die Laufzeiten hinken den Gewichten noch immer hinterher. Was nutzt ihr lokal?
#AI #LocalLLM