« Verbalized Sampling » : différence entre les versions
(Page créée avec « == EN CONSTRUCTION == == Définition == xxxxx == Français == ''' xxxxx ''' == Anglais == '''Verbalized Sampling''' How to Mitigate Mode Collapse and Unlock LLM Diversity https://arxiv.org/abs/2510.01171 A training-free prompting strategy to mitigate mode collapse in LLMs by requesting responses with probabilities. Achieves 2-3x diversity improvement while maintaining quality. Model-agnostic framework with CLI/API for creative writing, synthetic data gen... ») |
Aucun résumé des modifications |
||
| (2 versions intermédiaires par le même utilisateur non affichées) | |||
| Ligne 2 : | Ligne 2 : | ||
== Définition == | == Définition == | ||
Technique d''''[[ingénierie de requêtes]]''' qui améliore la diversité des '''[[Grand modèles de langues (GML)|grands modèles de langues (GML)]]''' en demandant à un GML de générer plusieurs réponses avec de leurs probabilités, puis d'effectuer un échantillonnage à partir de cette distribution. Cette technique ne nécessite aucun apprentissage, elle est indépendante du GML et elle est efficace pour tous les types de tâches. De plus, elle améliore les performances sans compromettre la précision '''[[Factualité|factuelle]]''' ni la sécurité des modèles. | |||
Voir aussi '''[[LLM-as-a-judge]]''' | |||
== Compléments == | |||
Cette méthode est orthogonale à la '''[[température]]''' du modèle. | |||
== Français == | == Français == | ||
''' | ''' Échantillonnage verbalisé ''' | ||
<!--Échantillonnage des requêtes verbalisé?--> | |||
== Anglais == | == Anglais == | ||
'''Verbalized Sampling''' | '''Verbalized Sampling''' | ||
''' VS''' | |||
''A prompting strategy that improves LLM diversity by asking the model to generate multiple responses with their probabilities, then sampling from this distribution. It is training free, model agnostic and effective across tasks and it improves performance without sacrificing the models’ factual accuracy or safety.'' | |||
''This method is orthogonal to temperature.'' | |||
==Sources== | ==Sources== | ||
[https:// | [https://arxiv.org/abs/2510.01171 Source : arxiv] | ||
[https://github.com/CHATS-lab/verbalized-sampling Source : GitHub] | |||
[https://www.verbalized-sampling.com/ Source : Verbalized Sampling] | |||
[[Catégorie:vocabulary]] | [[Catégorie:vocabulary]] | ||
Dernière version du 17 mars 2026 à 11:00
EN CONSTRUCTION
Définition
Technique d'ingénierie de requêtes qui améliore la diversité des grands modèles de langues (GML) en demandant à un GML de générer plusieurs réponses avec de leurs probabilités, puis d'effectuer un échantillonnage à partir de cette distribution. Cette technique ne nécessite aucun apprentissage, elle est indépendante du GML et elle est efficace pour tous les types de tâches. De plus, elle améliore les performances sans compromettre la précision factuelle ni la sécurité des modèles.
Voir aussi LLM-as-a-judge
Compléments
Cette méthode est orthogonale à la température du modèle.
Français
Échantillonnage verbalisé
Anglais
Verbalized Sampling
VS
A prompting strategy that improves LLM diversity by asking the model to generate multiple responses with their probabilities, then sampling from this distribution. It is training free, model agnostic and effective across tasks and it improves performance without sacrificing the models’ factual accuracy or safety.
This method is orthogonal to temperature.
Sources
Contributeurs: Arianne Arel, wiki
