Taux d'apprentissage

Définition

Facteur multiplicatif appliqué au gradient afin de faire varier le gain du gradient.

Remarque : à chaque itération, l'algorithme de descente de gradient multiplie le taux d'apprentissage par le gradient. Le produit ainsi généré est appelé gain de gradient.

Le taux d'apprentissage est un hyperparamètre.

Français

pas du gradient

gain du gradient

pas de gradient

taux d'apprentissage

pas d'apprentissage

taux d'entraînement

Anglais

learning rate

training rate

step size

Sources

Source : Boné, Romuald; Jean-Pierre Asselin de Beauville et Monique Zollinger (1996). Les réseaux de neurones artificiels : un apport potentiel aux études marketing, Recherche et Applications en Marketing, 11(2), pages 63-81.

Source : Goodfellow, Ian; Bengio, Yoshua et Aaron Courville (2018), Apprentissage profond, Paris, Massot éditions, 800 pages.

Source : Claude Coulombe, Datafranca.org

Source : Google machine learning glossary

Source : Termino