Échantillonnage à troncature de masse p

Définition

Stratégie d'échantillonnage où un modèle génère une distribution de probabilité pour tous les éléments possibles d'un ensemble. On ne conserve que les éléments ayant les probabilités les plus élevées. Pour être plus précis, on choisit parmi les éléments dont la somme des probabilités atteint la masse de probabilité p appelée aussi noyau ou probabilité cumulée.

Voir aussi échantillonnage à troncature k fixe

Compléments

Cette stratégie d'échantillonnage est utilisée par les grands modèles de langues pour choisir aléatoirement un segment textuels parmi un ensemble de segments textuels.

Alors que l'échantillonnage à troncature k fixe limite l'échantillon à un nombre k fixe de mots, l'échantillonnage à troncature de masse p spécifie une probabilité cumulée p entre 0 et 1 et on échantillonne parmi le nombre variable de segments textuels dont la somme des probabilités atteint 90 %.

En pratique, l'échantillonnage l'échantillonnage à troncature de masse p est souvent préféré au l'échantillonnage à troncature k fixe car il est plus adaptatif.

Notez qu'il est généralement recommandé de spécifier soit la température, soit le paramètre p, mais pas les deux.

Français

Échantillonnage à troncature de masse p

Échantillonnage des p-meilleurs

Échantillonnage du noyau

Échantillonnage par troncature dynamique

Échantillonnage par seuil de probabilité cumulée

Échantillonnage top-p

Anglais

Top-p sampling

Nucleus sampling

Stochastic decoding strategy for generating sequences form autoregressive probabilistic models that introduces randomness while maintaining quality. The choice of p can significantly influence the generated text. Its core idea is to sample from a smaller, more credible set of tokens at each step (called the nucleus). It is useful when you want more adaptative and context-sensitive text generation.

In practice, top-p sampling is often preferred over top-k because it’s adaptive. It is generally recommended to specify either the temperature or the top_p parameter, but not both.

Sources

Source : Medium

Source : The Large Language Model PLaybook

Source : Wikipedia