๐คฏ Model AI 27B sekarang berjalan secara lokal di RTX 4060 hanya dengan VRAM 8GB.
Qwen 3.8-27B + kuantisasi IQ4_XS baru dari Unsloth:
โ Konteks 64K
โ ~14,6GB di disk
โ ~150 tok/s prefill
โ ~5 tok/s decode
โ Tidak ada luapan memori GPU
Dan Qwen 3.8-27B dilaporkan mengalahkan Claude Opus 4.6 di beberapa benchmark.
Model level frontier yang berjalan di GPU konsumen seharga ~$300.
AI lokal kini semakin serius. ๐ฅ
Qwen 3.8-27B + kuantisasi IQ4_XS baru dari Unsloth:
โ Konteks 64K
โ ~14,6GB di disk
โ ~150 tok/s prefill
โ ~5 tok/s decode
โ Tidak ada luapan memori GPU
Dan Qwen 3.8-27B dilaporkan mengalahkan Claude Opus 4.6 di beberapa benchmark.
Model level frontier yang berjalan di GPU konsumen seharga ~$300.
AI lokal kini semakin serius. ๐ฅ