« Échantillonnage à troncature de masse p » : différence entre les versions

Dernière version du 10 mars 2026 à 18:21

Définition

Stratégie d'échantillonnage où un modèle génère une distribution de probabilité pour tous les éléments possibles d'un ensemble. On ne conserve que les éléments les plus probables dont la somme des probabilités atteint un seuil p défini (la masse de probabilité) également appelée noyau.

Les probabilités de ces éléments sont alors normalisées pour que leur somme soit égale à 1 avant le tirage aléatoire.

Voir aussi échantillonnage à troncature k fixe

Compléments

Cette stratégie d'échantillonnage est utilisée par les grands modèles de langues pour choisir aléatoirement un segment textuel parmi un ensemble de segments textuels.

Alors que l'échantillonnage à troncature k fixe limite l'échantillon à un nombre k fixe de mots, l'échantillonnage à troncature de masse p spécifie une probabilité cumulée p entre 0 et 1 et on échantillonne parmi un nombre variable de segments textuels dont la somme des probabilités atteint ou dépasse p.

En pratique, l'échantillonnage à troncature de masse p est préféré à l'échantillonnage à troncature k fixe car il est plus adaptatif.

Notez qu'il est généralement recommandé de spécifier soit la température, soit le paramètre p, mais pas les deux.

Français

Échantillonnage à troncature de masse p

Échantillonnage des p-meilleurs

Échantillonnage du noyau

Échantillonnage par troncature dynamique

Échantillonnage par seuil de probabilité cumulée

Échantillonnage top-p

Anglais

Top-p sampling

Nucleus sampling

Stochastic decoding strategy for generating sequences form autoregressive probabilistic models that introduces randomness while maintaining quality. The choice of p can significantly influence the generated text. Its core idea is to sample from a smaller, more credible set of tokens at each step (called the nucleus). It is useful when you want more adaptative and context-sensitive text generation.

In practice, top-p sampling is often preferred over top-k because it’s adaptive. It is generally recommended to specify either the temperature or the top_p parameter, but not both.

Sources

Source : Medium

Source : The Large Language Model PLaybook

Source : Wikipedia

@@ Ligne 1 : / Ligne 1 : @@
-== en construction ==
 == Définition ==
-Stratégie de décodage stochastique pour générer des séquences à partir de modèles probabilistes '''[[Modèle autorégressif|autorégressifs]]''' qui introduisent un caractère aléatoire tout en conservant la qualité. Plus simplement, son principe fondamental consiste à échantillonner à chaque étape un ensemble plus petit et plus crédible de '''[[Segment textuel|segments textuels]]''' (appelé noyau). Le choix de ''p'' peut influencer considérablement le texte généré.
+Stratégie d'échantillonnage où un modèle génère une distribution de probabilité pour tous les éléments possibles d'un ensemble. On ne conserve que les éléments les plus probables dont la somme des probabilités atteint un seuil ''p'' défini (la ''masse de probabilité'') également appelée ''noyau''.
-Cette stratégie est utile lorsque l'on souhaite obtenir une génération de texte plus adaptée et plus sensible au contexte.
+Les probabilités de ces éléments sont alors normalisées pour que leur somme soit égale à 1 avant le tirage aléatoire.
-Voir aussi '''[[génération automatique de texte]]'''
+Voir aussi '''[[échantillonnage à troncature k fixe]]'''
 == Compléments ==
+Cette stratégie d'échantillonnage est utilisée par les [[grand modèle de langues|grands modèles de langues]] pour choisir aléatoirement un [[segment textuel]] parmi un ensemble de [[segment textuel|segments textuels]].
+Alors que l'[[échantillonnage à troncature k fixe]] limite l'échantillon à un nombre ''k'' fixe de mots, l'échantillonnage à troncature de masse p spécifie une probabilité cumulée ''p'' entre 0 et 1 et on échantillonne parmi un nombre variable de [[segment textuel|segments textuels]] dont la somme des probabilités atteint ou dépasse p.
+En pratique, l'échantillonnage à troncature de masse p est préféré à l'[[échantillonnage à troncature k fixe]] car il est plus adaptatif.
-En pratique, le xxxxxx est souvent préféré au top-k(?) car il est adaptatif. Il est généralement recommandé de spécifier soit la '''[[température]]''', soit le xxxxxx, mais pas les deux.
+Notez qu'il est généralement recommandé de spécifier soit la '''[[température]]''', soit le paramètre ''p'', mais pas les deux.
 == Français ==
-''' XXXXXX'''
+''' Échantillonnage à troncature de masse p'''
+'''Échantillonnage des p-meilleurs'''
+'''Échantillonnage du noyau'''
+'''Échantillonnage par troncature dynamique'''
+'''Échantillonnage par seuil de probabilité cumulée'''
+'''Échantillonnage top-p'''
 == Anglais ==
-''' Top-p sampling'''
+'''Top-p sampling'''
-''' Nucleus sampling'''
+'''Nucleus sampling'''
 ''Stochastic decoding strategy for generating sequences form autoregressive probabilistic models that introduces randomness while maintaining quality. The choice of p can significantly influence the generated text. Its core idea is to sample from a smaller, more credible set of tokens at each step (called the nucleus). It is useful when you want more adaptative and context-sensitive text generation. ''
@@ Ligne 25 : / Ligne 38 : @@
 == Sources ==
+[https://medium.com/thinking-sand/the-top-k-and-top-p-parameters-explained-bfaecc8cd342   Source : Medium]
+[https://cyrilzakka.github.io/llm-playbook/nested/topp.html   Source : The Large Language Model PLaybook]
 [https://en.wikipedia.org/wiki/Top-p_sampling   Source : Wikipedia]
-[[Catégorie:vocabulary]]
+[[Catégorie:Intelligence artificielle]]
+{{DEFAULTSORT: echantillonnage des p}}

« Échantillonnage à troncature de masse p » : différence entre les versions