Taux d'apprentissage

Définition

Facteur multiplicatif appliqué au gradient afin de faire varier le gain du gradient.

Remarque : à chaque itération, l'algorithme de descente de gradient multiplie le taux d'apprentissage par le gradient. Le produit ainsi généré est appelé gain de gradient.

Le taux d'apprentissage est un hyperparamètre.

Robotique - La taille du pas utilisée par la descente de gradient pour mettre à jour les paramètres du modèle. Un taux trop élevé cause la divergence ; un taux trop faible cause une convergence lente. L'ordonnancement du taux d'apprentissage (warmup + decay) est critique pour un entraînement stable. Taux d'apprentissage initiaux typiques : 1e-4 pour l'ajustement fin de modèles pré-entraînés, 3e-4 pour l'entraînement à partir de zéro avec Adam. Le taux d'apprentissage est souvent l'hyperparamètre le plus important à ajuster.

Français

pas du gradient

gain du gradient

pas de gradient

taux d'apprentissage

pas d'apprentissage

taux d'entraînement

Anglais

learning rate

training rate

step size

Sources

Source : Boné, Romuald; Jean-Pierre Asselin de Beauville et Monique Zollinger (1996). Les réseaux de neurones artificiels : un apport potentiel aux études marketing, Recherche et Applications en Marketing, 11(2), pages 63-81.

Source : Goodfellow, Ian; Bengio, Yoshua et Aaron Courville (2018), Apprentissage profond, Paris, Massot éditions, 800 pages.

Source : Claude Coulombe, Datafranca.org

Source : Google machine learning glossary

Source : Robotic Center

---

LEXIQUE DE LA ROBOTIQUE Source : Termino