Modèle de récompense

Définition

En apprentissage par renforcement, le modèle de récompense donne une récompense ou une pénalité en réponse à une action qui est posée par un agent.

Compléments

Afin d'améliorer un robot conversationnel basé sur un grand modèle de langues, le modèle de récompense sera entraîné à partir de rétroactions (récompenses ou pénalités) fournies par des humains suite à des requêtes faites au modèle de langues (voir apprentissage par renforcement et rétroaction humaine).

Dans le cas d'un agent autonome comme un robot aspirateur, le fait de se buter contre un mur pourrait déclencher une pénalité ou de trouver un passage pourrait déclencher une récompense, ce qui permet au robot d'ajuster son comportement.

On rencontre parfois le terme modèle de récompense et de pénalité.

---

Il existe plusieurs types de modèles de récompense:

• Récompense intrinsèque: La récompense est basée sur la réalisation d'un objectif interne à l'agent;
• Récompense extrinsèque: La récompense est fournie par l'environnement externe;
• Récompense dense: La récompense est fournie à chaque étape de l'apprentissage;
• Récompense éparse: La récompense n'est fournie qu'à des étapes clés de l'apprentissage.

Français

modèle de récompense

modèle de récompenses

modèle de récompense et de pénalité

Anglais

reward model

Sources

[https://theses.hal.science/tel-03464538v2/document Algorithmes de bandits pour la collecte d’informations en temps réel dans les réseaux sociaux Source : Gisselbrecht 2021 ]

GPT-3 et IA génératives : mieux les cerner pour en définir les usages avec pertinence Source : Lefebvre Dalloz