« Échantillonnage à troncature k fixe » : différence entre les versions
(Page créée avec « == en construction == == Définition == xxxxxxx Voir aussi '''échantillonnage des p-meilleurs''' == Français == ''' Échantillonnage des k-meilleurs''' == Anglais == ''' Top-k sampling''' == Sources == [https://medium.com/thinking-sand/the-top-k-and-top-p-parameters-explained-bfaecc8cd342 Source : Medium] [https://cyrilzakka.github.io/llm-playbook/nested/topk.html Source : The Large Language Model Playbook] [https://en.wikipedia.org/wiki/Top-p_sa... ») |
Aucun résumé des modifications |
||
| (16 versions intermédiaires par 3 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
== | == Définition == | ||
== | Stratégie d'échantillonnage qui prélève un élément parmi un nombre fixe ''k'' des meilleurs éléments d'un ensemble. La valeur de ''k'' reste constante, | ||
Ceci signifie que la méthode ne s'adapte pas au contexte, ce qui a conduit à l''''[[échantillonnage à troncature de masse p]]'''. | |||
== Compléments == | |||
Cette stratégie d'échantillonnage est utilisée par les [[Grand modèle de langues|grands modèles de langues]] pour choisir aléatoirement un segment parmi un nombre fixe ''k'' de '''[[Segment textuel|segments textuels]]'''. La valeur de ''k'' reste constante, ce qui signifie que la méthode ne s'adapte pas au contexte du texte généré. | |||
Une valeur ''k'' plus petite rendra le résultat plus ciblé mais moins créatif, tandis qu'une valeur ''k'' plus grande rendra le résultat plus diversifié mais potentiellement moins pertinent. | |||
Cette limitation a conduit à l''''[[échantillonnage à troncature de masse p]]'''. | |||
<hr> | |||
Le terme « échantillonnage à troncature ''k'' fixe » est plus exact que terme « échantillonnage des ''k'' meilleurs » car elle définit l'action algorithmique (la troncature) plutôt que simplement le résultat. | |||
<hr> | |||
Attention: À ne pas confondre avec la '''[[température]]''' d'un grand modèle de langues. | |||
== Français == | == Français == | ||
''' Échantillonnage | '''Échantillonnage à troncature k fixe''' | ||
'''Échantillonnage parmi les k meilleurs''' | |||
'''Échantillonnage Top-k''' | |||
== Anglais == | == Anglais == | ||
''' Top-k sampling''' | ''' Top-k sampling''' | ||
''Sampling strategy that always samples from a fixed number of tokens, which may be too restrictive or too broad depending on the context. The value of K remains constant, meaning the method isn't adaptive to the context of the text being generated, which led to top-p sampling.'' | |||
''A smaller K will make the output more focused but less creative, while a larger K will make the output more diverse but potentially less relevant.'' | |||
[https:// | == Sources == | ||
[https://medium.com/thinking-sand/the-top-k-and-top-p-parameters-explained-bfaecc8cd342 Source : Medium - Top-k sampling, Top-p sampling] | |||
[ | [https://en.wikipedia.org/wiki/Top-p_sampling#Top-k_sampling Wikipedia - Top-k sampling] | ||
Dernière version du 11 mars 2026 à 02:44
Définition
Stratégie d'échantillonnage qui prélève un élément parmi un nombre fixe k des meilleurs éléments d'un ensemble. La valeur de k reste constante,
Ceci signifie que la méthode ne s'adapte pas au contexte, ce qui a conduit à l'échantillonnage à troncature de masse p.
Compléments
Cette stratégie d'échantillonnage est utilisée par les grands modèles de langues pour choisir aléatoirement un segment parmi un nombre fixe k de segments textuels. La valeur de k reste constante, ce qui signifie que la méthode ne s'adapte pas au contexte du texte généré.
Une valeur k plus petite rendra le résultat plus ciblé mais moins créatif, tandis qu'une valeur k plus grande rendra le résultat plus diversifié mais potentiellement moins pertinent.
Cette limitation a conduit à l'échantillonnage à troncature de masse p.
Le terme « échantillonnage à troncature k fixe » est plus exact que terme « échantillonnage des k meilleurs » car elle définit l'action algorithmique (la troncature) plutôt que simplement le résultat.
Attention: À ne pas confondre avec la température d'un grand modèle de langues.
Français
Échantillonnage à troncature k fixe
Échantillonnage parmi les k meilleurs
Échantillonnage Top-k
Anglais
Top-k sampling
Sampling strategy that always samples from a fixed number of tokens, which may be too restrictive or too broad depending on the context. The value of K remains constant, meaning the method isn't adaptive to the context of the text being generated, which led to top-p sampling.
A smaller K will make the output more focused but less creative, while a larger K will make the output more diverse but potentially less relevant.
Sources
Contributeurs: Arianne Arel, Claude Coulombe, wiki
