« Grand modèle de langues » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| (3 versions intermédiaires par le même utilisateur non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
Les grands modèles de langues (en anglais, Large Language Models, LLM) sont des [[Modèle de langue|modèles de langue]] statistiques , pré-entraînés sur un très vaste corpus multilingue. Basés sur des réseaux de neurones, les grands modèles de langues (GML) comportent un très grand nombre de paramètres. | Les grands modèles de langues (en anglais, Large Language Models, LLM) sont des [[Modèle de langue|modèles de langue]] statistiques , pré-entraînés sur un très vaste corpus multilingue. Basés sur des [[réseau autoattentif|réseaux de neurones autoattentifs]], les grands modèles de langues (GML) comportent un très grand nombre de paramètres. | ||
Typiquement un GML est capable de prédire le prochain mot d'une séquence à partir d'une requête et de son contexte. | Typiquement un GML est capable de prédire le prochain mot d'une séquence à partir d'une requête et de son contexte. | ||
| Ligne 9 : | Ligne 9 : | ||
On dit « grand modèle de langues » et non « grand modèle de langage », parce que le langage désigne la faculté d'utiliser une langue alors que la langue est l'objet modélisé. Aussi, tous ces grands modèles sont multilingues. | On dit « grand modèle de langues » et non « grand modèle de langage », parce que le langage désigne la faculté d'utiliser une langue alors que la langue est l'objet modélisé. Aussi, tous ces grands modèles sont multilingues. | ||
<hr/> | <hr/> | ||
Un grand modèle de langue sert de base pour l'élaboration des | Un grand modèle de langue sert de base pour l'élaboration des [[robot conversationnel génératif|robots conversationnels génératifs]] (RCG) capables de générer des textes entiers. | ||
<hr/> | <hr/> | ||
Typiquement un grand modèle de langues comporte plus de 10 milliards de paramètres. | Typiquement un grand modèle de langues comporte plus de 10 milliards de paramètres. | ||
<hr/> | <hr/> | ||
Des chercheurs de l'Université Stanford ont proposé le terme [[modèle de fondation]] (« foundation model ») pour définir un ensemble de grands [[Modèle de langue|modèles de langue]] basés sur des [[Réseau_autoattentif|architectures autoattentives]] pré-entraînées. | Des chercheurs de l'Université Stanford ont proposé le terme [[modèle fondateur]] ou [[modèle de fondation]] (« foundation model ») pour définir un ensemble de grands [[Modèle de langue|modèles de langue]] basés sur des [[Réseau_autoattentif|architectures autoattentives]] pré-entraînées. | ||
==Français== | ==Français== | ||
| Ligne 19 : | Ligne 19 : | ||
'''GML''' | '''GML''' | ||
'''grand modèle de langage''' | '''grand modèle de langage''' | ||
| Ligne 29 : | Ligne 25 : | ||
'''modèle fondateur''' | '''modèle fondateur''' | ||
'''modèle de fondation''' | |||
==Anglais== | ==Anglais== | ||
Dernière version du 2 août 2024 à 23:10
Définition
Les grands modèles de langues (en anglais, Large Language Models, LLM) sont des modèles de langue statistiques , pré-entraînés sur un très vaste corpus multilingue. Basés sur des réseaux de neurones autoattentifs, les grands modèles de langues (GML) comportent un très grand nombre de paramètres.
Typiquement un GML est capable de prédire le prochain mot d'une séquence à partir d'une requête et de son contexte.
voir : modèle fondateur
Compléments
On dit « grand modèle de langues » et non « grand modèle de langage », parce que le langage désigne la faculté d'utiliser une langue alors que la langue est l'objet modélisé. Aussi, tous ces grands modèles sont multilingues.
Un grand modèle de langue sert de base pour l'élaboration des robots conversationnels génératifs (RCG) capables de générer des textes entiers.
Typiquement un grand modèle de langues comporte plus de 10 milliards de paramètres.
Des chercheurs de l'Université Stanford ont proposé le terme modèle fondateur ou modèle de fondation (« foundation model ») pour définir un ensemble de grands modèles de langue basés sur des architectures autoattentives pré-entraînées.
Français
grand modèle de langues
GML
grand modèle de langage
grand modèle linguistique
modèle fondateur
modèle de fondation
Anglais
large language model
LLM
generative large language model
foundation model
Sources
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
