O chefe de pesquisas da OpenAI, Boris Power, disse que 80% a 90% das pesquisas da empresa se concentram em GPT-7, GPT-8 e modelos posteriores. De acordo com a ChainCatcher, Power disse que melhorias na mesma geração de modelos são vistas internamente como investimentos de curtíssimo prazo que podem ajudar a acelerar o aprendizado atual, mas não fazem parte de uma estratégia de longo prazo.
Ele disse que o caminho envolve primeiro construir grandes modelos de fronteira e, depois, usá-los como modelos professores para destilar modelos menores e mais baratos. Power acrescentou que o GPT-6 Astra poderia ser destilado em modelos como Luna, e disse que uma forma melhor de construir pequenos modelos especializados pode ser primeiro treinar um modelo geral mais capaz. Ele também disse que o maior problema atual não é o desempenho do modelo, mas que a maioria dos usuários ainda não entende o que a IA existente já consegue fazer.
