ULMFiT

Définition

ULMFiT (Universal Language Model Fine-tuning) est une Représentation vectorielle dense de mots (en anglais, embedding) basée sur des caractères et résultant de l'entraînement d'un modèle de langage au moyen d'un réseau de neurones récurrent bidirectionnel à longue mémoire court terme (biLMCT).

Compléments

ULMFiT (Universal Language Model Fine-Tuning) fut le premier modèle viable qui fut détrôné par BERT (Bidirectional Encoder Representations for Transformers) de Google et GPT (Generative Pretraining Transformer).

Français

ULMFiT

Anglais

ULMFiT

Universal Language Model Fine-tuning

Source : arxiv - Universal Language Model Fine-tuning for Text Classification