Giám đốc phụ trách nghiên cứu ứng dụng của OpenAI, Boris Power, cho biết 80% đến 90% hoạt động nghiên cứu của công ty tập trung vào các mô hình GPT-7, GPT-8 và các mô hình sau đó. Theo ChainCatcher, Power cho biết các cải tiến trong cùng một thế hệ mô hình được nội bộ coi là các khoản đầu tư ngắn hạn rất nhỏ nhằm giúp tăng tốc việc học hiện tại, nhưng không phải là một chiến lược dài hạn.

Ông nói rằng lộ trình này liên quan đến việc trước tiên xây dựng các mô hình biên lớn, sau đó sử dụng chúng như các mô hình giáo viên để chưng cất (distill) ra các mô hình nhỏ hơn và rẻ hơn. Power cho biết GPT-6 Astra có thể được chưng cất thành các mô hình như Luna, và nói rằng một cách tốt hơn để xây dựng các mô hình nhỏ chuyên biệt có thể là trước tiên huấn luyện một mô hình tổng quát có năng lực hơn. Ông cũng cho biết vấn đề lớn nhất hiện nay không phải là hiệu năng mô hình, mà là việc hầu hết người dùng vẫn chưa hiểu những gì AI hiện có đã có thể làm.