Apprentissage par renforcement avec rétroaction humaine - Historique des versions

Claude COULOMBE le 4 août 2026 à 19:08

2026-08-04T19:08:09Z

← Version précédente		Version du 4 août 2026 à 15:08
Ligne 9 :		Ligne 9 :
	Le [[Modèle de récompense\|modèle de récompense]] est pré-entraîné pour que la politique soit optimisée afin de prédire si une sortie est bonne (récompense élevée) ou mauvaise (récompense faible ou pénalité).		Le [[Modèle de récompense\|modèle de récompense]] est pré-entraîné pour que la politique soit optimisée afin de prédire si une sortie est bonne (récompense élevée) ou mauvaise (récompense faible ou pénalité).
	<hr/>		<hr/>
	Cependant, le ARRH est une procédure complexe et souvent instable, qui consiste d'abord à adapter un modèle de ~~récompenses~~ qui reflète les préférences humaines, puis à affiner le [[grand modèle de langues]] à l'aide de l'[[apprentissage par renforcement]] pour maximiser cette récompense estimée sans trop s'éloigner du modèle d'origine.		Cependant, le ARRH est une procédure complexe et souvent instable, qui consiste d'abord à adapter un [[modèle de récompense]] qui reflète les préférences humaines, puis à affiner le [[grand modèle de langues]] à l'aide de l'[[apprentissage par renforcement]] pour maximiser cette récompense estimée sans trop s'éloigner du modèle d'origine.
	== Français ==		== Français ==

Claude COULOMBE le 4 août 2026 à 19:06

2026-08-04T19:06:13Z

← Version précédente		Version du 4 août 2026 à 15:06
Ligne 9 :		Ligne 9 :
	Le [[Modèle de récompense\|modèle de récompense]] est pré-entraîné pour que la politique soit optimisée afin de prédire si une sortie est bonne (récompense élevée) ou mauvaise (récompense faible ou pénalité).		Le [[Modèle de récompense\|modèle de récompense]] est pré-entraîné pour que la politique soit optimisée afin de prédire si une sortie est bonne (récompense élevée) ou mauvaise (récompense faible ou pénalité).
	<hr/>		<hr/>
	Cependant, le ARRH est une procédure complexe et souvent instable, qui consiste d'abord à adapter un modèle de ~~récompense~~ qui reflète les préférences humaines, puis à affiner le grand modèle de ~~langue non supervisé~~ à l'aide de l'apprentissage par renforcement pour maximiser cette récompense estimée sans trop s'éloigner du modèle d'origine.		Cependant, le ARRH est une procédure complexe et souvent instable, qui consiste d'abord à adapter un modèle de récompenses qui reflète les préférences humaines, puis à affiner le [[grand modèle de langues]] à l'aide de l'[[apprentissage par renforcement]] pour maximiser cette récompense estimée sans trop s'éloigner du modèle d'origine.
	== Français ==		== Français ==

Ligne 58 :		Ligne 58 :

	''Se empieza por entrenar un modelo de recompensa a partir de resultados anotados con comentarios humanos. A continuación, este modelo se utiliza como función de recompensa para mejorar la política de un agente mediante el aprendizaje por refuerzo con un algoritmo de optimización.''		''Se empieza por entrenar un modelo de recompensa a partir de resultados anotados con comentarios humanos. A continuación, este modelo se utiliza como función de recompensa para mejorar la política de un agente mediante el aprendizaje por refuerzo con un algoritmo de optimización.''



	==Sources==		==Sources==

Claude COULOMBE le 4 août 2026 à 19:04

2026-08-04T19:04:38Z

← Version précédente		Version du 4 août 2026 à 15:04
Ligne 8 :		Ligne 8 :
	<hr/>		<hr/>
	Le [[Modèle de récompense\|modèle de récompense]] est pré-entraîné pour que la politique soit optimisée afin de prédire si une sortie est bonne (récompense élevée) ou mauvaise (récompense faible ou pénalité).		Le [[Modèle de récompense\|modèle de récompense]] est pré-entraîné pour que la politique soit optimisée afin de prédire si une sortie est bonne (récompense élevée) ou mauvaise (récompense faible ou pénalité).
			<hr/>
			Cependant, le ARRH est une procédure complexe et souvent instable, qui consiste d'abord à adapter un modèle de récompense qui reflète les préférences humaines, puis à affiner le grand modèle de langue non supervisé à l'aide de l'apprentissage par renforcement pour maximiser cette récompense estimée sans trop s'éloigner du modèle d'origine.
	== Français ==		== Français ==

Pitpitt : Remplacement de texte : « == Anglais == » par «  == Anglais == »

2026-07-29T02:36:30Z

Remplacement de texte : « == Anglais == » par « <span id="en"></span> == Anglais == »

← Version précédente		Version du 28 juillet 2026 à 22:36
Ligne 32 :		Ligne 32 :


			<span id="en"></span>
	== Anglais ==		== Anglais ==
	'''reinforcement learning from human feedback'''		'''reinforcement learning from human feedback'''

Pitpitt : Remplacement de texte : « ==Español== » par «  ==Español== »

2026-07-29T00:11:51Z

Remplacement de texte : « ==Español== » par « <span id="es"></span> ==Español== »

← Version précédente		Version du 28 juillet 2026 à 20:11
Ligne 47 :		Ligne 47 :


			<span id="es"></span>
	==Español==		==Español==
	[[Catégorie:es]]		[[Catégorie:es]]

Pitpitt le 18 avril 2026 à 15:09

2026-04-18T15:09:26Z

← Version précédente		Version du 18 avril 2026 à 11:09
Ligne 38 :		Ligne 38 :

	'''reinforcement learning from human preferences'''		'''reinforcement learning from human preferences'''
	~~<!-- To understand RLHF~~, ~~we first need to understand~~ the ~~process of training~~ a ~~model like ChatGPT and where RLHF fits in~~, ~~which is the focus of~~ the ~~first section of this post~~. ~~The following 3 sections cover the 3 phases of ChatGPT development~~. ~~For each phase~~, ~~I’ll discuss the goal for that phase~~, ~~the intuition for why this phase is needed~~, and ~~the corresponding mathematical formulation for those who want to see more technical detail~~.
			In reinforcement learning, the algorithm learns a behavior from repeated experiments, so as to optimize the rewards received over time. Like unsupervised learning, reinforcement learning does not require labeled data.
	~~Currently~~, ~~RLHF is not yet widely used in~~ the ~~industry except for~~ a ~~few big key players – OpenAI, DeepMind, and Anthropic. However, I’ve seen many work-in-progress efforts using RLHF, so I wouldn’t be surprised to see RLHF used more in the future~~.		Typically, an intelligent agent, immersed in an environment, makes a decision or performs an action based on its current state and observation of its environment.
	~~---~~
	~~Learning from instructions and human feedback are thought to~~ be ~~at the core~~ of ~~recent advances in instruction following large language models (LLMs). While recent efforts such as Open Assistant, Vicuna,~~ and ~~Alpaca have advanced our understanding of instruction fine-tuning~~, the ~~same cannot be said for RLHF-style algorithms that learn directly from human feedback~~. ~~AlpacaFarm aims to address~~ this ~~gap by enabling fast~~, ~~low-cost research and development on methods that learn from human feedback. We identify three main difficulties with studying RLHF-style algorithms: the high cost of human preference data~~, ~~the lack of trustworthy evaluation, and the absence of reference implementations~~. ~~-->~~		In return for the agent's action, the environment provides the agent with a reward or punishment.

			Reinforcement learning can be seen as a game of trial and error, the aim of which is to determine which actions will maximize an intelligent agent's gains. In this way, it will develop optimal behavior, known as strategy or policy.


	==Español==		==Español==

Pitpitt : Remplacement de texte : « ==Español== » par « ==Español== Catégorie:es »

2025-09-24T00:56:39Z

Remplacement de texte : « ==Español== » par « ==Español== Catégorie:es »

← Version précédente		Version du 23 septembre 2025 à 20:56
Ligne 45 :		Ligne 45 :

	==Español==		==Español==
			[[Catégorie:es]]

	'''''aprendizaje por refuerzo a partir de la retroalimentación humana'''''		'''''aprendizaje por refuerzo a partir de la retroalimentación humana'''''

Pitpitt le 20 août 2025 à 23:51

2025-08-20T23:51:34Z

← Version précédente		Version du 20 août 2025 à 19:51
Ligne 72 :		Ligne 72 :
	[[Catégorie:GRAND LEXIQUE FRANÇAIS]]		[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
	[[Catégorie:101]]		[[Catégorie:101]]
	~~[[Catégorie:Publication]]~~

Claude COULOMBE le 19 août 2025 à 20:52

2025-08-19T20:52:04Z

← Version précédente		Version du 19 août 2025 à 16:52
Ligne 43 :		Ligne 43 :
	---		---
	Learning from instructions and human feedback are thought to be at the core of recent advances in instruction following large language models (LLMs). While recent efforts such as Open Assistant, Vicuna, and Alpaca have advanced our understanding of instruction fine-tuning, the same cannot be said for RLHF-style algorithms that learn directly from human feedback. AlpacaFarm aims to address this gap by enabling fast, low-cost research and development on methods that learn from human feedback. We identify three main difficulties with studying RLHF-style algorithms: the high cost of human preference data, the lack of trustworthy evaluation, and the absence of reference implementations. -->		Learning from instructions and human feedback are thought to be at the core of recent advances in instruction following large language models (LLMs). While recent efforts such as Open Assistant, Vicuna, and Alpaca have advanced our understanding of instruction fine-tuning, the same cannot be said for RLHF-style algorithms that learn directly from human feedback. AlpacaFarm aims to address this gap by enabling fast, low-cost research and development on methods that learn from human feedback. We identify three main difficulties with studying RLHF-style algorithms: the high cost of human preference data, the lack of trustworthy evaluation, and the absence of reference implementations. -->


	==Español==		==Español==

Claude COULOMBE le 19 août 2025 à 20:31

2025-08-19T20:31:55Z

← Version précédente		Version du 19 août 2025 à 16:31
Ligne 5 :		Ligne 5 :

	==Compléments==		==Compléments==
	Ce type d'apprentissage est utilisé dans les jeux [[AlphaGo]] et les générateurs de ~~texte fondés~~ sur les [[grand modèle de langues\|grands modèles de langues]].		Ce type d'apprentissage est utilisé dans les jeux [[AlphaGo]] et les [[Robot conversationnel génératif\|robots conversationnels génératifs]] ou [[générateurs automatique de textes]] basés sur les [[grand modèle de langues\|grands modèles de langues]].
	<hr/>		<hr/>
	Le [[Modèle de récompense\|modèle de récompense]] est pré-entraîné pour que la politique soit optimisée afin de prédire si une sortie est bonne (récompense élevée) ou mauvaise (récompense faible ou pénalité).		Le [[Modèle de récompense\|modèle de récompense]] est pré-entraîné pour que la politique soit optimisée afin de prédire si une sortie est bonne (récompense élevée) ou mauvaise (récompense faible ou pénalité).