Taux d'apprentissage
Définition
Facteur multiplicatif appliqué au gradient afin de faire varier le gain du gradient.
Remarque : à chaque itération, l'algorithme de descente de gradient multiplie le taux d'apprentissage par le gradient. Le produit ainsi généré est appelé gain de gradient.
Le taux d'apprentissage est un hyperparamètre.
Robotique - La taille du pas utilisée par la descente de gradient pour mettre à jour les paramètres du modèle. Un taux trop élevé cause la divergence ; un taux trop faible cause une convergence lente. L'ordonnancement du taux d'apprentissage (warmup + decay) est critique pour un entraînement stable. Taux d'apprentissage initiaux typiques : 1e-4 pour l'ajustement fin de modèles pré-entraînés, 3e-4 pour l'entraînement à partir de zéro avec Adam. Le taux d'apprentissage est souvent l'hyperparamètre le plus important à ajuster.
Français
pas du gradient
gain du gradient
pas de gradient
taux d'apprentissage
pas d'apprentissage
taux d'entraînement
Anglais
learning rate
training rate
step size
Sources
Source : Boné, Romuald; Jean-Pierre Asselin de Beauville et Monique Zollinger (1996). Les réseaux de neurones artificiels : un apport potentiel aux études marketing, Recherche et Applications en Marketing, 11(2), pages 63-81.
Source : Goodfellow, Ian; Bengio, Yoshua et Aaron Courville (2018), Apprentissage profond, Paris, Massot éditions, 800 pages.
Source : Claude Coulombe, Datafranca.org
Source : Google machine learning glossary
Contributeurs: Claire Gorjux, Jacques Barolet, Patrick Drouin, wiki, Robert Meloche
