GPT înseamnă „Generative Pre-trained Transformer”. Este un tip de model de limbaj dezvoltat de OpenAI, o organizație de cercetare dedicată dezvoltării și promovării inteligenței artificiale într-un mod sigur și benefic.
Modelele GPT se bazează pe arhitectura transformatorului, care este un tip de rețea neuronală care este deosebit de potrivită pentru procesarea datelor secvențiale, cum ar fi limbajul. Modelele GPT sunt „pre-antrenate”, ceea ce înseamnă că sunt mai întâi antrenate pe un corp mare de date text înainte de a fi reglate fin pentru o anumită sarcină, cum ar fi traducerea limbii sau completarea textului.
Procesul de pre-antrenare implică expunerea modelului la cantități masive de date textuale, cum ar fi cărți, articole și pagini web, și antrenarea sa pentru a prezice cuvântul următor sau secvența de cuvinte dat fiind un context. Prin această metodă, modelul învață să capteze modelele statistice și relațiile din limbaj, ceea ce îi permite să genereze texte coerente și fluide atunci când este oferit un prompt.
Modelele GPT au fost utilizate într-o varietate de aplicații, cum ar fi completarea textului, chatboturile și traducerea lingvistică. Cel mai avansat model GPT până în prezent este GPT-3, care are 175 de miliarde de parametri și a demonstrat un performanță impresionantă pe o gamă largă de sarcini lingvistice.
