Problème de l'explosion du gradient

Domaine

Intelligence artificielle
Apprentissage automatique
Réseau de neurones artificiels
Apprentissage profond

Définition

Le problème de l'explosion du gradient est l'opposé du problème du gradient évanescent (ou disparition du gradient). Dans les réseaux de neurones profonds, la valeur des gradients peut augmenter d'une façon explosive pendant la rétropropagation, entraînant un dépassement de la capacité de la représentation interne des nombres (en anglais number overflow).

Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), la normalisation par lots (batch normalization) et l'écrêtage de gradient (gradient clipping).

Français

problème de l'explosion du gradient n.m.

explosion des gradients n.f.

Anglais

Exploding Gradient Problem

Référence: openclassrooms.com

source : Claude Coulombe ( discussion)