« Problème de l'explosion du gradient » : différence entre les versions

Version du 3 juin 2019 à 10:47

Domaine

Intelligence artificielle
Apprentissage automatique
Réseau de neurones artificiels
Apprentissage profond

Définition

Problème posé, dans un réseau de neurones profond, par l'augmentation très rapide des valeurs des gradients pendant la rétropropagation entraînant un dépassement de la capacité de la représentation interne des nombres et l'arrêt de l'apprentissage.

Note

Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, la normalisation par lots et l'écrêtage de gradient

Français

problème de l'explosion du gradient n.m.

explosion du gradient n.f.

Anglais

exploding gradient problem

gradient explosion problem

Référence: openclassrooms.com

source : Claude Coulombe ( discussion)

@@ Ligne 11 : / Ligne 11 : @@
 [[Category:scotty2]]
 [[Category:GRAND LEXIQUE FRANÇAIS]]
+[[Category:Vocabulaire]]<br/>
+[[Category:Termino 2019]]
+[[Category:Scotty]]
 ==Définition==
-Le problème de l'explosion du gradient est l'opposé du problème du gradient évanescent (ou disparition du gradient). Dans les réseaux de neurones profonds, la valeur des gradients peut augmenter d'une façon explosive pendant la rétropropagation, entraînant un dépassement de la capacité de la représentation interne des nombres (en anglais ''number overflow'').
-Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), la normalisation par lots (''batch normalization'') et l'écrêtage de gradient (''gradient clipping'').
+Problème posé, dans un réseau de neurones profond, par l'augmentation très rapide des valeurs des gradients pendant la rétropropagation entraînant un dépassement de la capacité de la représentation interne des nombres et l'arrêt de l'apprentissage.
+Note
+Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, la normalisation par lots et l'écrêtage de gradient
 ==Français==
@@ Ligne 21 : / Ligne 28 : @@
 '''problème de l'explosion du gradient'''   n.m.
-'''explosion des gradients'''   n.f.
+'''explosion du gradient'''   n.f.
+==Anglais==
-==Anglais==
+'''exploding gradient problem'''
-'''Exploding Gradient Problem'''
+'''gradient explosion problem'''