Ces derniers jours, je teste un framework d’inférence open source. Le même modèle, exécuté sur une carte graphique grand public et quantifié en 4 bits, est trois fois plus rapide, avec une baisse de qualité moins importante que prévu. Cela implique une conséquence très concrète : de nombreuses tâches qui nécessitaient autrefois le cloud peuvent désormais être prises en charge par une seule machine. Quand la structure des coûts change, la forme des produits change aussi.