Compréhension massive et multitâche des langues
Définition
La compréhension massive et multitâche des langues désigne un type de test de performances utilisé pour évaluer les grands modèles de langues en mesurant les connaissances acquises lors du préentraînement.
Complément
MMLU contient environ 16 000 questions à choix multiples portant sur 57 matières académiques, dont les mathématiques, la philosophie, le droit et la médecine. En 2024, Il s'agit de l'un des banc d'essai les plus couramment utilisés pour comparer les capacités des grands modèles de langues.
Voir aussi grand modèle de langues
Français
compréhension massive et multitâche des langues
Anglais
massive multitask language understanding
MMLU
Massive multitask language understanding is a type of benchmark that measures knowledge acquired during pretraining and it is used for evaluating capabilities of large language models.
Sources
Contributeurs: Arianne , Patrick Drouin, wiki
