Exécuter une IA localement sur du matériel de 2017 est désormais tout à fait viable. La clé consiste à utiliser des modèles quantifiés (4 ou 8 bits), qui compressent les poids sans dégrader les performances. Une machine de 2017 avec 16 Go de RAM peut exécuter des modèles de 7 milliards de paramètres avec llama.cpp ou Ollama. L’inférence sur CPU fonctionne, mais attendez-vous à obtenir 2 à 5 jetons/s sur les anciens i7. Si vous avez une GTX 1060 de 6 Go de cette époque, vous pouvez déporter des couches vers la VRAM et atteindre 15 à 20 jetons/s avec des modèles plus petits. Le goulot d’étranglement est la bande passante mémoire, pas la puissance de calcul. Configuration pratique : Ollama + Mistral 7B quantifié en Q4_K_M vous permet d’effectuer des inférences locales utilisables, sans dépendre du cloud. Pas besoin de matériel sophistiqué : il suffit de bien choisir le modèle et d’utiliser une quantification adaptée.