« ELMo » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
[[Représentation vectorielle dense et continue|Représentation vectorielle dense de mots]] | [[Représentation vectorielle dense et continue|Représentation vectorielle dense de mots]] basée sur des caractères et résultant de l'entraînement d'un [[Modèle de langage|modèle de langage]] au moyen d'un [[Réseau récurrent bidirectionnel à longue mémoire court terme|réseau de neurones récurrent bidirectionnel à longue mémoire court terme]] (biLMCT). | ||
==Compléments== | ==Compléments== | ||
ELMo a surtout un intérêt historique car fut le précurseur des [[ | ELMo a surtout un intérêt historique car fut le précurseur des [[Représentation vectorielle dense et continue|représentations vectorielles de mots]] basées sur des modèles de langage. Par contre le premier modèle viable fut [[ULMFiT]] (Universal Language Model Fine-Tuning) qui fut détrôné à son tour par [[BERT]] (Bidirectional Encoder Representations for Transformers) de Google et [[GPT]] (Generative Pretraining Transformer). | ||
==Français== | ==Français== | ||
Version du 27 novembre 2022 à 03:32
Définition
Représentation vectorielle dense de mots basée sur des caractères et résultant de l'entraînement d'un modèle de langage au moyen d'un réseau de neurones récurrent bidirectionnel à longue mémoire court terme (biLMCT).
Compléments
ELMo a surtout un intérêt historique car fut le précurseur des représentations vectorielles de mots basées sur des modèles de langage. Par contre le premier modèle viable fut ULMFiT (Universal Language Model Fine-Tuning) qui fut détrôné à son tour par BERT (Bidirectional Encoder Representations for Transformers) de Google et GPT (Generative Pretraining Transformer).
Français
ELMo
Anglais
ELMo
Embedding from Language Model
Contributeurs: Claude Coulombe, wiki
