« Optimisation de la politique relative au groupe » : différence entre les versions
(Page créée avec « == en construction == == Définition == xxxxx Voir aussi '''Common Crawl''', '''Optimisation de la Politique Proximale''' et '''R-Zero''' == Français == ''' XXXXXXX''' == Anglais == '''Group Relative Policy Optimization''' ''' GRPO''' == Sources == [https://arxiv.org/abs/2510.08191 Source : Arxiv] [https://arxiv.org/abs/2402.03300 Source : Arxiv] [https://verl.readthedocs.io/en/latest/algo/grpo.html Source : verl] Catégorie:vocabula... ») |
Aucun résumé des modifications |
||
| (3 versions intermédiaires par 2 utilisateurs non affichées) | |||
| Ligne 2 : | Ligne 2 : | ||
== Définition == | == Définition == | ||
'''[[Algorithme]]''' d''''[[apprentissage par renforcement]]''' dérivé de l'approche PPO ('''[[Optimisation de la Politique Proximale]]''') qui réduit la charge de calcul en évitant l''''[[entraînement]]''' d'un autre modèle d'estimation de valeur. | |||
Il génère plusieurs réponses à partir de la politique actuelle pour chaque '''[[requête générative]]''', au sein de chaque groupe. Les réponses sont notées et les récompenses sont normalisées par rapport au groupe, éliminant ainsi le besoin d'un critique en estimant les avantages directement à partir des groupes de réponses. | |||
Voir aussi '''[[Common Crawl]]''' et '''[[R-Zero]]''' | |||
== Français == | == Français == | ||
''' | '''optimisation de la politique relative au groupe''' | ||
== Anglais == | == Anglais == | ||
''' | '''group relative policy optimization''' | ||
''' GRPO''' | ''' GRPO''' | ||
''A variant reinforcement learning (RL) algorithm of Proximal Policy Optimization (PPO) approach that reduces computational overhead by avoiding the training of a separate value estimation model. It generates multiple completions (responses) from the current policy for each prompt, within each group. The completions are scored, and rewards are normalized relative to the group, thus eliminating the need for a critic by estimating advantages directly from groups of responses.'' | |||
== Sources == | == Sources == | ||
| Ligne 21 : | Ligne 25 : | ||
[https://verl.readthedocs.io/en/latest/algo/grpo.html Source : verl] | [https://verl.readthedocs.io/en/latest/algo/grpo.html Source : verl] | ||
[[Catégorie: | [[Catégorie:publication]] | ||
Dernière version du 27 février 2026 à 13:29
en construction
Définition
Algorithme d'apprentissage par renforcement dérivé de l'approche PPO (Optimisation de la Politique Proximale) qui réduit la charge de calcul en évitant l'entraînement d'un autre modèle d'estimation de valeur.
Il génère plusieurs réponses à partir de la politique actuelle pour chaque requête générative, au sein de chaque groupe. Les réponses sont notées et les récompenses sont normalisées par rapport au groupe, éliminant ainsi le besoin d'un critique en estimant les avantages directement à partir des groupes de réponses.
Voir aussi Common Crawl et R-Zero
Français
optimisation de la politique relative au groupe
Anglais
group relative policy optimization
GRPO
A variant reinforcement learning (RL) algorithm of Proximal Policy Optimization (PPO) approach that reduces computational overhead by avoiding the training of a separate value estimation model. It generates multiple completions (responses) from the current policy for each prompt, within each group. The completions are scored, and rewards are normalized relative to the group, thus eliminating the need for a critic by estimating advantages directly from groups of responses.
Sources
Contributeurs: Arianne Arel, Patrick Drouin
