ULMFiT

Définition

ULMFiT (Universal Language Model Fine-Tuning) est une Représentation vectorielle dense de mots basée sur des caractères et résultant de l'entraînement d'un modèle de langage au moyen d'un réseau de neurones récurrent bidirectionnel à longue mémoire court terme (biLMCT).

Compléments

De nos jours, ULMFiT a surtout un intérêt historique car fut le précurseur des représentations vectorielles de mots basées sur des modèles de langage. Il fut détrôné par BERT (Bidirectional Encoder Representations for Transformers) de Google puis la série GPT acronyme de Generative Pre-Training d'OpenAI, puis GPT-2, et GPT-3 devenus acronymes de Generative Pre-Trained Transformer.

Français

ULMFiT

Anglais

ULMFiT

Universal Language Model Fine-tuning

Sources

Source : arxiv - Universal Language Model Fine-tuning for Text Classification