Suppression de jeton

Définition

Technique utilisée pour le préentraînement d’un modèle où des jetons génératifs sont retirés de manière aléatoire des documents afin de permettre au modèle de déterminer les jetons à partir desquels les positions sont supprimées.

Français

suppression de jeton génératif

suppression de jeton

destruction de jeton génératif

destruction de jeton

Anglais

token deletion

Sources

Source : arxiv

Source : GitHub