GPT

Définition

Acronyme anglais de Generative Pre-Training, une représentation vectorielle dense de mots résultant de l'entraînement d'un modèle de langage au moyen d'un réseau de neurones autoattentif (en anglais Transformer).

Compléments

GPT fut créé par une équipe d'OpenAI en juin 2018. Il s'ensuivit GPT-2 en février 2019 et GPT-3 en mai 2020. À noter, GPT devint l'acronyme de Generative Pre-trained Transformer.

Français

GPT

Anglais

GPT

Generative Pre-training

Source : OpenAI - Improving Language Understanding by Generative Pre-Training

Source : OpenAI - Improving Language Understanding with Unsupervised Learning