Évanescence du gradient
(Redirigé depuis Gradient vanishing)
Définition
Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et par conséquent l'arrêt de l'apprentissage.
Compléments
Nous recommandons l'expression « évanescence du gradient » pour sa spécificité et sa beauté langagière.
Français
évanescence du gradient
disparition du gradient
dissipation du gradients
problème de l'évanescence du gradient
Anglais
gradient vanishing
gradient vanishing problem
Sources
Source: Pascanu, Razvan (2015). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, Pierre Labreche, wiki
