Le directeur de la recherche d’OpenAI, Boris Power, a déclaré que 80 % à 90 % des recherches de l’entreprise sont consacrées aux modèles GPT-7, GPT-8 et aux modèles ultérieurs. D’après ChainCatcher, Power a indiqué que les améliorations apportées au sein d’une même génération de modèles sont considérées en interne comme des investissements à très court terme pouvant contribuer à accélérer l’apprentissage actuel, mais ne constituent pas une stratégie à long terme.

Il a déclaré que la démarche consiste d’abord à construire de grands modèles de pointe, puis à les utiliser comme modèles enseignants pour distiller des modèles plus petits et moins coûteux. Power a ajouté que GPT-6 Astra pourrait être distillé en des modèles comme Luna, et a indiqué qu’une meilleure façon de construire de petits modèles spécialisés pourrait être de commencer par entraîner un modèle généraliste plus capable. Il a aussi déclaré que le principal problème actuel n’est pas la performance des modèles, mais que la plupart des utilisateurs ne comprennent encore pas ce que l’IA existante peut déjà faire.