Mémoire tampon de relecture
ROBOTIQUE
Définition
Une mémoire tampon de relecture (ou mémoire de relecture d'expérience) est un ensemble de transitions passées (état, action, récompense, état suivant, terminé) collectées par un agent RL pendant l'interaction avec l'environnement. À chaque étape d'entraînement, des mini-lots aléatoires sont échantillonnés à partir de la mémoire tampon pour entraîner la fonction de valeur ou la politique de contrôle, cassant les corrélations temporelles qui déstabiliseraient les mises à jour de gradient. En RL hors ligne et en apprentissage robotique, la mémoire tampon est remplacée par un ensemble fixe de démonstrations humaines ou de trajectoires collectées précédemment.
La relecture d'expérience priorisée pondère l'échantillonnage par l'erreur de différence temporelle pour concentrer l'entraînement sur les transitions informatives.
Français
Mémoire tampon de relecture
Anglais
replay buffer
Sources
Contributeurs: wiki
