ELMo

Définition

ELMo est l'acronyme anglais de Embeddings from Language Models, une représentation vectorielle dense de mots basée sur des caractères et résultant de l'entraînement d'un modèle de langue au moyen d'un réseau de neurones récurrent bidirectionnel à longue mémoire court terme (biLMCT).

Compléments

ELMo a surtout un intérêt historique car fut le précurseur des représentations vectorielles de mots basées sur des modèles de langue. Par contre le premier modèle viable fut ULMFiT (Universal Language Model Fine-Tuning) qui fut détrôné à son tour par BERT (Bidirectional Encoder Representations for Transformers) de Google et GPT (Generative Pretraining Transformer).

Français

ELMo

Anglais

ELMo

Embedding from Language Model

Source : arxiv - Deep contextualized word representations