GPT "Generativ Ön hazırlıqlı Transformator" deməkdir. Bu, OpenAI tərəfindən inkişaf etdirilən bir dil modeli növüdür, süni intellekti təhlükəsiz və faydalı bir şəkildə inkişaf etdirmək və təşviq etmək məqsədilə yaradılmış tədqiqat təşkilatıdır.

GPT modelləri transformator arxitekturasına əsaslanır, bu isə dil kimi ardıcıl məlumatların emalı üçün xüsusilə uyğun olan bir növ neyron şəbəkəsidir. GPT modelləri "öncədən hazırlanmışdır", yəni bunlar əvvəlcə geniş bir mətn verilənləri korpusunda təlim edilir, sonra isə dil tərcüməsi və ya mətn tamamlama kimi spesifik bir tapşırıq üçün incə tənzimlənir.

Önöyrətmə prosesi modeli kitablər, məqalələr və veb səhifələr kimi böyük həcmli mətn məlumatlarına məruz qoymağı əhatə edir və kontekst verildikdə növbəti sözü və ya sözlər ardıcıllığını proqnozlaşdırmağı öyrətməklə həyata keçirilir. Bunu etməklə model dilin statistik nümunələrini və əlaqələrini mənimsəyir; bu da ona sorğu verildikdə məntiqli və axıcı mətn yaratmağa imkan verir.

GPT modelləri mətnin tamamlanması, chatbotlar və dil tərcüməsi kimi müxtəlif tətbiqlərdə istifadə olunub. Bu günə qədər ən qabaqcıl GPT modeli GPT-3-dür; onun 175 milyard parametri var və bir sıra dil tapşırıqlarında təsirli nəticələr göstərib.