Les fabricants de modèles en source fermée sont pris en étau par deux forces à la fois.
Ce fragment d’« AI on AIR » provient d’une interview de Redpoint AI. Igor Babuschkin, cofondateur de River AI et ancien cofondateur de xAI, explique pourquoi « plus le modèle est grand », ne signifie plus forcément une douve (barrière) plus solide :
▷ L’entraînement des modèles rencontre des rendements décroissants. Chaque amélioration de capacité exige davantage de GPU, plus de données de meilleure qualité et des investissements plus importants.
▷ Les modèles de pointe peuvent être si performants que les fournisseurs ne souhaitent pas les publier, voire qu’ils ne sont pas autorisés à les publier.
▷ Les modèles open source continuent de rattraper leur retard, rendant de plus en plus difficile pour les éditeurs en source fermée de conserver leur avantage.
Sa conclusion est la suivante : la voie ne peut pas reposer uniquement sur l’augmentation de l’échelle. OpenAI, Anthropic et d’autres laboratoires de pointe doivent proposer de nouvelles idées fondamentales pour rendre les modèles plus utiles, pour ouvrir de nouveaux domaines et créer un impact réel.
Les progrès en capacités ralentissent peut-être, mais la pression à innover, elle, ne diminue pas.🪁
Ce fragment d’« AI on AIR » provient d’une interview de Redpoint AI. Igor Babuschkin, cofondateur de River AI et ancien cofondateur de xAI, explique pourquoi « plus le modèle est grand », ne signifie plus forcément une douve (barrière) plus solide :
▷ L’entraînement des modèles rencontre des rendements décroissants. Chaque amélioration de capacité exige davantage de GPU, plus de données de meilleure qualité et des investissements plus importants.
▷ Les modèles de pointe peuvent être si performants que les fournisseurs ne souhaitent pas les publier, voire qu’ils ne sont pas autorisés à les publier.
▷ Les modèles open source continuent de rattraper leur retard, rendant de plus en plus difficile pour les éditeurs en source fermée de conserver leur avantage.
Sa conclusion est la suivante : la voie ne peut pas reposer uniquement sur l’augmentation de l’échelle. OpenAI, Anthropic et d’autres laboratoires de pointe doivent proposer de nouvelles idées fondamentales pour rendre les modèles plus utiles, pour ouvrir de nouveaux domaines et créer un impact réel.
Les progrès en capacités ralentissent peut-être, mais la pression à innover, elle, ne diminue pas.🪁