Évanescence du gradient

Définition

Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et l'arrêt de l'apprentissage.

Français

problème de la disparition du gradient n.m.

problème de l'évanescence du gradient n.f.

problème de la dissipation du gradients n.f.

Anglais

gradient vanishing problem

gradient vanishing

Source: Pascanu, Razvan (2015). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.

Source : openclassrooms.com

source : Claude Coulombe ( discussion)

Source : Termino