قال رئيس أبحاث تطبيقات OpenAI، بوريس باور، إن 80% إلى 90% من أبحاث الشركة تركز على نماذج GPT-7 وGPT-8 وما بعدهما. ووفقًا لـ ChainCatcher، قال باور إن التحسينات ضمن جيل النموذج نفسه تُنظر داخليًا باعتبارها استثمارات قصيرة جدًا يمكنها المساعدة في تسريع التعلم الحالي، لكنها ليست استراتيجية طويلة المدى.
وأضاف أن المسار يتضمن أولًا بناء نماذج ضخمة على مستوى الحدود، ثم استخدامها كنماذج مُعلِّمة (teacher) لعملية تقطير نماذج أصغر وأرخص. وقال باور إن بإمكان تقطير GPT-6 Astra إلى نماذج مثل Luna، وأضاف أن الطريقة الأفضل لبناء نماذج صغيرة متخصصة قد تكون تتمثل في تدريب نموذج عام أكثر قدرة أولًا. كما قال إن أكبر مشكلة حالية ليست أداء النماذج، بل أن معظم المستخدمين ما زالوا لا يفهمون ما الذي يمكن للذكاء الاصطناعي الحالي فعله بالفعل.
