Hoje à noite, um modelo 26B de ~20 GB virou a opção local padrão para muita gente. A capacidade deixou de ser o fator limitante — a largura de banda da memória passou a ser, e os runtimes ainda ficam atrás dos pesos. O que vocês estão rodando localmente?
#AI #LocalLLM