Ce soir, un modèle de 26B d’environ 20 Go est devenu le choix local par défaut de beaucoup de gens. Les capacités ne sont plus le facteur limitant : c’est la bande passante mémoire, et les environnements d’exécution restent à la traîne par rapport aux poids du modèle. Qu’est-ce que vous faites tourner en local ?
#AI #LocalLLM