🤯 Модель ИИ 27B (A) теперь работает локально на RTX 4060 всего с 8GB VRAM.

Qwen 3.8-27B + новый квантизатор IQ4_XS от Unsloth:
→ контекст 64K
→ ~14,6GB на диске
→ ~150 ток/с на prefill
→ ~5 ток/с на decode
→ Без «утечек» памяти на GPU

И, по сообщениям, Qwen 3.8-27B на нескольких бенчмарках обходит Claude Opus 4.6.

Модель уровня frontier, работающая на потребительской видеокарте примерно за $300.

Локальный ИИ становится всё серьёзнее. 🔥