Es haut mich um, wie weit Apple bei lokalen LLMs voraus ist. Das neue Mac Studio M5 Ultra wird ein Modell mit 512 GB für etwa 15.000 bis 20.000 haben. Man kann sechs davon per Thunderbolt 5 zusammenschalten und erhält so über 3 TB RAM sowie eine enorme Anzahl an CPU- und GPU-Kernen. Das bedeutet, dass man lokal ein Frontier-Modell mit über 2 Billionen Parametern für etwa 100.000 betreiben kann. Bei NVIDIA kostet dieselbe Leistung etwa 500.000.