Écrêtage de gradient
ROBOTIQUE
Définition
Limitation de l'amplitude des gradients pendant l'entraînement pour éviter les gradients explosifs qui peuvent déstabiliser l'optimisation. Les normes de gradient sont écrêtées à une valeur maximale (généralement 1,0–10,0). L'écrêtage de gradient est une pratique standard pour l'entraînement des Transformers, RNN, et des politiques de contrôle en RL où la variance des récompenses peut causer des pics de gradient importants.
Français
Écrêtage de gradient
Anglais
gradient clipping
Sources
Contributeurs: wiki
