ULMFiT

Définition

ULMFiT (Universal Language Model Fine-tuning) est une Représentation vectorielle dense de mots (en anglais, embedding) basée sur des caractères et résultant de l'entraînement d'un modèle de langage au moyen d'un réseau de neurones récurrent bidirectionnel à longue mémoire court terme (biLMCT).

Compléments

ULMFiT (Universal Language Model Fine-Tuning) fut le premier modèle viable qui fut détrôné à son tour par l'excellent .

Français

ELMo

Anglais

ELMo

Embedding from Language Model

Source : arxiv - Universal Language Model Fine-tuning for Text Classification