GPT «Generative Pre-trained Transformer» (generativ oldindan o‘qitilgan transformator) degan ma’noni anglatadi. Bu sun’iy intellektni xavfsiz va foydali tarzda rivojlantirish hamda ommalashtirishga bag‘ishlangan OpenAI tadqiqot tashkiloti tomonidan ishlab chiqilgan til modelining bir turi.

GPT modellari transformator arxitekturasiga asoslangan. Bu til kabi ketma-ket ma’lumotlarni qayta ishlashga juda mos keladigan neyron tarmoq turidir. GPT modellari «oldindan o‘qitiladi», ya’ni tilni tarjima qilish yoki matnni davom ettirish kabi muayyan vazifaga moslashtirib o‘qitilishidan oldin, katta hajmdagi matnlar to‘plamida dastlab o‘qitiladi.

Dastlabki o‘qitish jarayonida model kitoblar, maqolalar va veb-sahifalar kabi juda katta hajmdagi matn ma’lumotlari bilan tanishtiriladi hamda unga kontekst asosida keyingi so‘z yoki so‘zlar ketma-ketligini bashorat qilish o‘rgatiladi. Shu tariqa model tildagi statistik qoliplar va munosabatlarni o‘rganadi. Bu esa unga berilgan ko‘rsatma asosida izchil va ravon matn yaratish imkonini beradi.

GPT modellari matnni davom ettirish, chatbotlar va tillararo tarjima kabi turli sohalarda qo‘llanilgan. Bugungi kungacha yaratilgan eng ilg‘or GPT modeli — GPT-3 bo‘lib, u 175 milliard parametrga ega va turli til vazifalarida ajoyib natijalarni ko‘rsatgan.