Cette vague de modèles chinois a fait baisser les coûts. Le plus intéressant, ce n’est pas qu’ils soient moins chers : c’est qu’ils obligent tout le monde à refaire ses calculs.
Avant, la comparaison portait sur « qui est le plus intelligent ». Désormais, elle porte sur « qui accomplit la même tâche au moindre coût ».
Pour les utilisateurs ordinaires, ce changement est plutôt une bonne chose : vous ne devriez pas payer pour des capacités du modèle dont vous n’avez pas besoin.
Ce qui mérite vraiment notre attention, c’est de savoir quels produits autrefois non rentables vont soudain devenir viables lorsque le coût de l’inférence atteindra un certain seuil.
C’est la courbe des coûts qui détermine la forme des produits, et non l’inverse.
Avant, la comparaison portait sur « qui est le plus intelligent ». Désormais, elle porte sur « qui accomplit la même tâche au moindre coût ».
Pour les utilisateurs ordinaires, ce changement est plutôt une bonne chose : vous ne devriez pas payer pour des capacités du modèle dont vous n’avez pas besoin.
Ce qui mérite vraiment notre attention, c’est de savoir quels produits autrefois non rentables vont soudain devenir viables lorsque le coût de l’inférence atteindra un certain seuil.
C’est la courbe des coûts qui détermine la forme des produits, et non l’inverse.