Masquage de jeton
Définition
Technique d'apprentissage auto-supervisé pour le préentraînement d’un grand modèle de langues où des jetons génératifs sont masqués de manière aléatoire par un symbole ou masque, afin de prédire le jeton génératif masqué en fonction de son contexte.
Voir aussi segmentation et insertion de jeton
Compléments
Le masquage de jetons génératifs est une stratégie appartenant à un groupe plus large de techniques de modification de textes (en anglais, text corruption) pour l'apprentissage auto-supervisé qui comprend la permutation de phrases (en anglais, sentence permutation), la rotation de phrases (en anglais, document rotation), l'insertion de jeton (en anglais, text infilling) et la suppression de jeton (en anglais, token deletion).
En 2018, BERT de Google fut le premier modèle d'apprentissage à utiliser le masquage de jeton génératif et l'entraînement autosupervisé pour préentraîner un modèle de langue.
Français
masquage de jeton(s) génératif(s)
masquage de jeton(s)
Anglais
token masking
text corruption
Sources
Contributeurs: Arianne Arel, Claude Coulombe, wiki
