GPT означає "генеративний попередньо навчений трансформатор". Це тип мовної моделі, розроблений OpenAI, дослідницькою організацією, яка займається розробкою та просуванням штучного інтелекту безпечним і корисним способом.

Моделі GPT базуються на трансформаторній архітектурі, яка є типом нейронної мережі, яка особливо добре підходить для обробки послідовних даних, таких як мова. Моделі GPT є «попередньо навченими», що означає, що вони спочатку навчаються на великому масиві текстових даних, перш ніж налаштовуватися на конкретне завдання, наприклад переклад мови або завершення тексту.

Процес попереднього навчання включає в себе вплив моделі на величезну кількість текстових даних, таких як книги, статті та веб-сторінки, і навчання її передбаченню наступного слова або послідовності слів у контексті. Роблячи це, модель вчиться фіксувати статистичні закономірності та зв’язки в мові, що дозволяє їй генерувати зв’язний і плавний текст, коли отримує підказку.

Моделі GPT використовувалися в різноманітних додатках, таких як доповнення тексту, чат-боти та мовний переклад. Найдосконалішою моделлю GPT на сьогодні є GPT-3, яка має 175 мільярдів параметрів і продемонструвала вражаючу продуктивність у ряді мовних завдань.