Problème de l'explosion du gradient

La version imprimable n’est plus prise en charge et peut comporter des erreurs de génération. Veuillez mettre à jour les signets de votre navigateur et utiliser à la place la fonction d’impression par défaut de celui-ci.

Définition

Problème posé, dans un réseau de neurones profond, par l'augmentation très rapide des valeurs des gradients pendant la rétropropagation entraînant un dépassement de la capacité de la représentation interne des nombres et l'arrêt de l'apprentissage.

Note: plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, la normalisation par lots et l'écrêtage de gradient

Français

problème de l'explosion du gradient

explosion du gradient

Anglais

exploding gradient problem

gradient explosion problem

Sources

Source: Pascanu, Razvan (2014). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.

Source: openclassrooms.com

Source: Termino

Source: Claude Coulombe ( discussion)