OpenAIのアプリケーション研究責任者ボリス・パワー氏は、同社の研究の80%から90%がGPT-7、GPT-8、そしてそれ以降のモデルに重点を置いていると述べた。ChainCatcherによると、パワー氏は、同一のモデル世代内での改良は社内では非常に短期的な投資として見られており、現在の学習を加速するのには役立つものの、長期的な戦略ではないとした。
同氏は、その道筋はまず大規模なフロンティアモデルを構築し、その後それらを教師モデルとして用いて、より小型で安価なモデルを蒸留することだと述べた。さらにパワー氏は、GPT-6 Astraはルナなどのモデルに蒸留できる可能性があるとし、小型の特化モデルをより良い形で作るには、まずより能力の高い汎用モデルを先に学習させることが一つの方法かもしれないとも語った。また、現在の最大の問題はモデル性能ではなく、多くのユーザーが、既存のAIがすでにできることをまだ十分に理解できていない点だと述べた。
