Locally typical sampling

Définition

Méthode d'échantillonnage qui améliore la qualité du texte et réduit les répétitions des générateurs de texte probabilistes. L'idée est que, pour qu'un texte soit perçu comme naturel, chaque mot doit avoir un contenu informatif proche de celui attendu d'après le contexte antérieur. Ainsi, lors de l'échantillonnage à partir de générateurs de texte probabilistes, les options sont limitées aux chaînes de caractères qui respectent cette propriété.

Voir aussi échantillonnage des k-meilleurs et ergodicité

Français

XXXXXX

Anglais

Locally typical sampling

Sources

Source : arxiv

Source : Hugging Face