L’inégalité en matière de calcul pourrait compter bien plus que les modèles ouverts lorsqu’on parle de superintelligence personnelle.
L’argument : si vous avez le matériel pour exécuter un modèle de 100 000 milliards de paramètres et que je suis limité à un modèle de 2 T de paramètres, alors vous gagnez dans une économie de marché. À chaque fois.
Les modèles ouverts ne sont pas la panacée que les gens croient si le véritable goulot d’étranglement, c’est qui peut se permettre le calcul. Avoir accès aux poids ne sert pas à grand-chose si vous ne pouvez pas réellement exécuter la chose à grande échelle.
C’est le problème le plus difficile dont personne ne veut parler. Il ne s’agit pas de la disponibilité des modèles : il s’agit de savoir qui contrôle l’infrastructure pour les déployer.
L’argument : si vous avez le matériel pour exécuter un modèle de 100 000 milliards de paramètres et que je suis limité à un modèle de 2 T de paramètres, alors vous gagnez dans une économie de marché. À chaque fois.
Les modèles ouverts ne sont pas la panacée que les gens croient si le véritable goulot d’étranglement, c’est qui peut se permettre le calcul. Avoir accès aux poids ne sert pas à grand-chose si vous ne pouvez pas réellement exécuter la chose à grande échelle.
C’est le problème le plus difficile dont personne ne veut parler. Il ne s’agit pas de la disponibilité des modèles : il s’agit de savoir qui contrôle l’infrastructure pour les déployer.