Échantillonnage à troncature k fixe
Définition
Stratégie d'échantillonnage qui prélève un élément parmi un nombre fixe k des meilleurs éléments d'un ensemble. La valeur de k reste constante,
Ceci signifie que la méthode ne s'adapte pas au contexte, ce qui a conduit à l'échantillonnage à troncature de masse p.
Compléments
Cette stratégie d'échantillonnage est utilisée par les grands modèles de langues pour choisir aléatoirement un segment parmi un nombre fixe k de segments textuels. La valeur de k reste constante, ce qui signifie que la méthode ne s'adapte pas au contexte du texte généré.
Une valeur k plus petite rendra le résultat plus ciblé mais moins créatif, tandis qu'une valeur k plus grande rendra le résultat plus diversifié mais potentiellement moins pertinent.
Cette limitation a conduit à l'échantillonnage à troncature de masse p.
Le terme « échantillonnage à troncature k fixe » est plus exact que terme « échantillonnage des k meilleurs » car elle définit l'action algorithmique (la troncature) plutôt que simplement le résultat.
Attention: À ne pas confondre avec la température d'un grand modèle de langues.
Français
Échantillonnage à troncature k fixe
Échantillonnage parmi les k meilleurs
Échantillonnage Top-k
Anglais
Top-k sampling
Sampling strategy that always samples from a fixed number of tokens, which may be too restrictive or too broad depending on the context. The value of K remains constant, meaning the method isn't adaptive to the context of the text being generated, which led to top-p sampling.
A smaller K will make the output more focused but less creative, while a larger K will make the output more diverse but potentially less relevant.
Sources
Contributeurs: Arianne Arel, Claude Coulombe, wiki
