« ULMFiT » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| (6 versions intermédiaires par 2 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
ULMFiT (Universal Language Model Fine- | ULMFiT (Universal Language Model Fine-Tuning) est une [[Représentation vectorielle dense et continue|Représentation vectorielle dense de mots]] basée sur des caractères et résultant de l'entraînement d'un [[Modèle de langage|modèle de langage]] au moyen d'un [[Réseau récurrent bidirectionnel à longue mémoire court terme|réseau de neurones récurrent bidirectionnel à longue mémoire court terme]] (biLMCT). | ||
==Compléments== | ==Compléments== | ||
ULMFiT | De nos jours, ULMFiT a surtout un intérêt historique car fut le précurseur des [[Représentation vectorielle dense et continue|représentations vectorielles de mots]] basées sur des modèles de langage. Il fut détrôné par [[BERT]] (Bidirectional Encoder Representations for Transformers) de Google puis la série [[GPT]] acronyme de ''Generative Pre-Training'' d'OpenAI, puis [[GPT-2]], et [[GPT-3]] devenus acronymes de ''Generative Pre-Trained Transformer''. | ||
==Français== | ==Français== | ||
'''ULMFiT''' | '''ULMFiT''' | ||
| Ligne 13 : | Ligne 13 : | ||
'''Universal Language Model Fine-tuning''' | '''Universal Language Model Fine-tuning''' | ||
==Sources== | |||
[https://arxiv.org/pdf/1801.06146.pdf Source : arxiv - Universal Language Model Fine-tuning for Text Classification] | [https://arxiv.org/pdf/1801.06146.pdf Source : arxiv - Universal Language Model Fine-tuning for Text Classification] | ||
[[Catégorie:ENGLISH]] | |||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | |||
Dernière version du 24 février 2024 à 18:12
Définition
ULMFiT (Universal Language Model Fine-Tuning) est une Représentation vectorielle dense de mots basée sur des caractères et résultant de l'entraînement d'un modèle de langage au moyen d'un réseau de neurones récurrent bidirectionnel à longue mémoire court terme (biLMCT).
Compléments
De nos jours, ULMFiT a surtout un intérêt historique car fut le précurseur des représentations vectorielles de mots basées sur des modèles de langage. Il fut détrôné par BERT (Bidirectional Encoder Representations for Transformers) de Google puis la série GPT acronyme de Generative Pre-Training d'OpenAI, puis GPT-2, et GPT-3 devenus acronymes de Generative Pre-Trained Transformer.
Français
ULMFiT
Anglais
ULMFiT
Universal Language Model Fine-tuning
Sources
Source : arxiv - Universal Language Model Fine-tuning for Text Classification
Contributeurs: Claude Coulombe, wiki
