Évanescence du gradient

Définition

Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et par conséquent l'arrêt de l'apprentissage.

Compléments

Nous recommandons l'expression « évanescence du gradient » pour sa spécificité et sa beauté langagière.

Français

évanescence du gradient

disparition du gradient

dissipation du gradients

problème de l'évanescence du gradient

Anglais

gradient vanishing

gradient vanishing problem

Problem posed, in a deep neural network, by the very rapid decrease in gradient values during backpropagation, leading to gradient cancellation and consequent learning stoppage

Español

evanescencia gradiente

Problema planteado, en una red neuronal profunda, por la disminución muy rápida de los valores del gradiente durante la retropropagación, que conduce a la anulación del gradiente y a la consiguiente interrupción del aprendizaje.

Sources

Source: Pascanu, Razvan (2015). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.

Source : openclassrooms.com

Source: Claude Coulombe ( discussion)

Source: Termino

101 MOTS DE L' IA
Ce terme est sélectionné pour le livre « Les 101 mots de l'intelligence artificielle »