« Problème de l'explosion du gradient » : différence entre les versions

Version du 19 avril 2019 à 21:13

Domaine

Intelligence artificielle
Apprentissage automatique
Réseau de neurones artificiels
Apprentissage profond
Coulombe

Définition

Le problème de l'explosion du gradient est l'opposé du problème du gradient évanescent (ou disparition du gradient). Dans les réseaux de neurones profonds, la valeur des gradients peut augmenter d'une façon explosive pendant la rétropropagation, entraînant un dépassement de la capacité de la représentation interne des nombres (en anglais number overflow).

Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), la normalisation par lots (en anglais batch normalization) et l'écrêtage de gradient (en anglais gradient clipping).

Français

problème de l'explosion du gradient n.m. problème de l'explosion des gradients n.m.

Anglais

Exploding Gradient Problem

Référence: openclassrooms.com

@@ Ligne 1 : / Ligne 1 : @@
 == Domaine ==
-[[Category:Vocabulary]]  Vocabulary<br />
+[[Category:Vocabulary]]<br>
+[[Category:Intelligence artificielle]]Intelligence artificielle<br>
-[[Catégorie:Apprentissage profond]] Apprentissage profond
+[[Catégorie:Apprentissage automatique]]Apprentissage automatique<br>
+[[Catégorie:Réseau de neurones artificiels]]Réseau de neurones artificiels<br>
+[[Catégorie:Apprentissage profond]]Apprentissage profond<br>
+[[Category:Coulombe]]Coulombe<br>
 [[Category:scotty]]
 == Définition ==
-Le problème du gradient explosif est l'opposé du problème du gradient disparaissant. Dans les réseaux de neurones profonds, les gradients peuvent exploser pendant la rétropropagation, entraînant des dépassements de nombre. Une technique courante pour traiter les dégradés explosifs consiste à effectuer un écrêtage en dégradé.
+Le problème de l'explosion du gradient est l'opposé du problème du gradient évanescent (ou disparition du gradient). Dans les réseaux de neurones profonds, la valeur des gradients peut augmenter d'une façon explosive pendant la rétropropagation, entraînant un dépassement de la capacité de la représentation interne des nombres (en anglais number overflow).
+Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), la normalisation par lots (en anglais batch normalization) et l'écrêtage de gradient (en anglais gradient clipping).
 == Français ==
+'''problème de l'explosion du gradient'''   n.m.
+'''problème de l'explosion des gradients'''   n.m.
-'''problème de l'explosion du gradient'''   n.m.
 == Anglais ==