Compréhension massive et multitâche des langues


Révision datée du 29 octobre 2024 à 14:11 par Patrickdrouin (discussion | contributions)
(diff) ← Version précédente | Voir la version actuelle (diff) | Version suivante → (diff)

Définition

La compréhension massive et multitâche des langues désigne un type de test de performances utilisé pour évaluer les grands modèles de langues en mesurant les connaissances acquises lors du préentraînement.

Complément

MMLU contient environ 16 000 questions à choix multiples portant sur 57 matières académiques, dont les mathématiques, la philosophie, le droit et la médecine. En 2024, Il s'agit de l'un des banc d'essai les plus couramment utilisés pour comparer les capacités des grands modèles de langues.

Voir aussi grand modèle de langues

Français

compréhension massive et multitâche des langues

Anglais

massive multitask language understanding

MMLU

Massive multitask language understanding is a type of benchmark that measures knowledge acquired during pretraining and it is used for evaluating capabilities of large language models.

Sources

Source : Wikipedia

Source : Wikipédia

Source : Paper with code

Contributeurs: Arianne , Patrick Drouin, wiki