« Grand modèle de langues (GML) » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
[[Modèle de langue]] entraîné sur un très vaste corpus, le plus souvent multilingue et comportant un très grand nombre de paramètres. | [[Modèle de langue]] entraîné sur un très vaste corpus, le plus souvent multilingue et comportant un très grand nombre de paramètres. Un grand modèle de langue est capable de prédire le prochain mot d'une séquence. | ||
voir : [[modèle fondateur]] | voir : [[modèle fondateur]] | ||
Ligne 6 : | Ligne 6 : | ||
==Compléments== | ==Compléments== | ||
On dit « grand modèle de langues » et non « grand modèle de langage », parce que le langage désigne la faculté d'utiliser une langue alors que la langue est l'objet modélisé. Aussi, tous ces grands modèles sont multilingues. | On dit « grand modèle de langues » et non « grand modèle de langage », parce que le langage désigne la faculté d'utiliser une langue alors que la langue est l'objet modélisé. Aussi, tous ces grands modèles sont multilingues. | ||
<hr/> | |||
Un grand modèle de langue sert de base pour l'élaboration des grands modèles de langues génératifs (GMLG) qui peuvent générer un texte entier. | |||
<hr/> | <hr/> | ||
Typiquement un grand modèle de langues comporte plus de 10 milliards de paramètres. | Typiquement un grand modèle de langues comporte plus de 10 milliards de paramètres. | ||
Ligne 13 : | Ligne 15 : | ||
==Français== | ==Français== | ||
'''grand modèle de langues''' | '''grand modèle de langues''' | ||
'''GML''' | |||
'''grand modèle de langage''' | '''grand modèle de langage''' |
Version du 8 août 2023 à 15:19
Définition
Modèle de langue entraîné sur un très vaste corpus, le plus souvent multilingue et comportant un très grand nombre de paramètres. Un grand modèle de langue est capable de prédire le prochain mot d'une séquence.
voir : modèle fondateur
Compléments
On dit « grand modèle de langues » et non « grand modèle de langage », parce que le langage désigne la faculté d'utiliser une langue alors que la langue est l'objet modélisé. Aussi, tous ces grands modèles sont multilingues.
Un grand modèle de langue sert de base pour l'élaboration des grands modèles de langues génératifs (GMLG) qui peuvent générer un texte entier.
Typiquement un grand modèle de langues comporte plus de 10 milliards de paramètres.
Des chercheurs de l'Université Stanford ont proposé le terme modèle fondateur (« foundation model ») pour définir un ensemble de grands modèles de langue basés sur des architectures autoattentives pré-entraînées.
Français
grand modèle de langues
GML
grand modèle de langage
modèle fondateur
Anglais
large language model
LLM
foundation model
Contributeurs: Claude Coulombe, Patrick Drouin, wiki