« Compréhension massive et multitâche des langues » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
La compréhension massive et multitâche des langues désigne un type de '''[[test de performances]]''' utilisé pour évaluer les grands modèles de langues en mesurant les connaissances acquises lors du '''[[préentraînement]]'''. | La compréhension massive et multitâche des langues désigne un type de '''[[test de performances]]''' utilisé pour évaluer les grands modèles de langues en mesurant les connaissances acquises lors du '''[[préentraînement]]'''. | ||
==Complément== | |||
MMLU contient environ 16 000 questions à choix multiples portant sur 57 matières académiques, dont les mathématiques, la philosophie, le droit et la médecine. En 2024, Il s'agit de l'un des banc d'essai les plus couramment utilisés pour comparer les capacités des [[grand modèle de langues|grands modèles de langues]]. | |||
Voir aussi '''[[grand modèle de langues]]''' | Voir aussi '''[[grand modèle de langues]]''' | ||
| Ligne 15 : | Ligne 18 : | ||
==Sources== | ==Sources== | ||
[https://en.wikipedia.org/wiki/MMLU Source : Wikipédia] | [https://en.wikipedia.org/wiki/MMLU Source : Wikipedia] | ||
[https://fr.wikipedia.org/wiki/MMLU. Source : Wikipédia] | |||
[https://paperswithcode.com/dataset/mmlu Source : Paper with code] | [https://paperswithcode.com/dataset/mmlu Source : Paper with code] | ||
Dernière version du 29 octobre 2024 à 14:11
Définition
La compréhension massive et multitâche des langues désigne un type de test de performances utilisé pour évaluer les grands modèles de langues en mesurant les connaissances acquises lors du préentraînement.
Complément
MMLU contient environ 16 000 questions à choix multiples portant sur 57 matières académiques, dont les mathématiques, la philosophie, le droit et la médecine. En 2024, Il s'agit de l'un des banc d'essai les plus couramment utilisés pour comparer les capacités des grands modèles de langues.
Voir aussi grand modèle de langues
Français
compréhension massive et multitâche des langues
Anglais
massive multitask language understanding
MMLU
Massive multitask language understanding is a type of benchmark that measures knowledge acquired during pretraining and it is used for evaluating capabilities of large language models.
Sources
Contributeurs: Arianne , Patrick Drouin, wiki
