Évanescence du gradient

Domaine

Intelligence artificielle
Apprentissage automatique
Réseau de neurones artificiels
Apprentissage profond

Définition

Le problème de la disparition du gradient (ou l'évanescence du gradient) est l'opposé du problème d'explosion du gradient. Dans les réseaux de neurones profonds, la valeur des gradients peut diminuer fortement pendant la rétropropagation, entraînant l'annulation du gradient (en anglais number underflow) où un gradient nul signifie l'arrêt de l'apprentissage.

Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), et la normalisation par lots (batch normalization) .

Français

problème de la disparition du gradient n.m.

évanescence du gradient n.f.

disparition des gradients n.f.

Anglais

Vanishing Gradient Problem

Source : openclassrooms.com

source : Claude Coulombe ( discussion)