« Compréhension massive et multitâche des langues » : différence entre les versions


Aucun résumé des modifications
Aucun résumé des modifications
 
Ligne 1 : Ligne 1 :
== Définition ==
== Définition ==
La compréhension massive et multitâche des langues désigne un type de '''[[test de performances]]''' utilisé pour évaluer les grands modèles de langues en mesurant les connaissances acquises lors du '''[[préentraînement]]'''.
La compréhension massive et multitâche des langues désigne un type de '''[[test de performances]]''' utilisé pour évaluer les grands modèles de langues en mesurant les connaissances acquises lors du '''[[préentraînement]]'''.
==Complément==
MMLU contient environ 16 000 questions à choix multiples portant sur 57 matières académiques, dont les mathématiques, la philosophie, le droit et la médecine. En 2024, Il s'agit de l'un des banc d'essai les plus couramment utilisés pour comparer les capacités des [[grand modèle de langues|grands modèles de langues]].


Voir aussi '''[[grand modèle de langues]]'''
Voir aussi '''[[grand modèle de langues]]'''
Ligne 15 : Ligne 18 :


==Sources==
==Sources==
[https://en.wikipedia.org/wiki/MMLU  Source : Wikipédia]
[https://en.wikipedia.org/wiki/MMLU  Source : Wikipedia]
 
[https://fr.wikipedia.org/wiki/MMLU. Source : Wikipédia]


[https://paperswithcode.com/dataset/mmlu  Source : Paper with code]
[https://paperswithcode.com/dataset/mmlu  Source : Paper with code]

Dernière version du 29 octobre 2024 à 14:11

Définition

La compréhension massive et multitâche des langues désigne un type de test de performances utilisé pour évaluer les grands modèles de langues en mesurant les connaissances acquises lors du préentraînement.

Complément

MMLU contient environ 16 000 questions à choix multiples portant sur 57 matières académiques, dont les mathématiques, la philosophie, le droit et la médecine. En 2024, Il s'agit de l'un des banc d'essai les plus couramment utilisés pour comparer les capacités des grands modèles de langues.

Voir aussi grand modèle de langues

Français

compréhension massive et multitâche des langues

Anglais

massive multitask language understanding

MMLU

Massive multitask language understanding is a type of benchmark that measures knowledge acquired during pretraining and it is used for evaluating capabilities of large language models.

Sources

Source : Wikipedia

Source : Wikipédia

Source : Paper with code

Contributeurs: Arianne , Patrick Drouin, wiki