Insertion de jeton


Révision datée du 29 septembre 2026 à 14:48 par Claude COULOMBE (discussion | contributions)
(diff) ← Version précédente | Voir la version actuelle (diff) | Version suivante → (diff)

Définition

Technique utilisée dans le préentraînement d’un modèle qui est similaire au masquage de jeton où un certain nombre de passages de texte de différentes longueurs (y compris la longueur 0) sont échantillonnés et remplacés par un seul jeton génératif.

Français

insertion de jeton génératif

insertion de jeton

Anglais

text infilling

Sources

Source : arxiv

Source : GitHub