« Problème de l'explosion du gradient » : différence entre les versions

Dernière version du 28 janvier 2024 à 12:42

Définition

Problème posé, dans un réseau de neurones profond, par l'augmentation très rapide des valeurs des gradients pendant la rétropropagation entraînant un dépassement de la capacité de la représentation interne des nombres et l'arrêt de l'apprentissage.

Note: plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, la normalisation par lots et l'écrêtage de gradient

Français

problème de l'explosion du gradient

explosion du gradient

Anglais

exploding gradient problem

gradient explosion problem

Sources

Source: Pascanu, Razvan (2014). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.

Source: openclassrooms.com

Source: Termino

Source: Claude Coulombe ( discussion)

@@ Ligne 1 : / Ligne 1 : @@
-==Domaine==
-[[Category:Intelligence artificielle]]
-Intelligence artificielle<br>
-[[Catégorie:Apprentissage automatique]]
-Apprentissage automatique<br>
-[[Catégorie:Réseau de neurones artificiels]]
-Réseau de neurones artificiels<br>
-[[Catégorie:Apprentissage profond]]
-Apprentissage profond
-[[Category:Coulombe2]]
-[[Category:scotty2]]
-[[Category:GRAND LEXIQUE FRANÇAIS]]
 ==Définition==
-Le problème de l'explosion du gradient est l'opposé du problème du gradient évanescent (ou disparition du gradient). Dans les réseaux de neurones profonds, la valeur des gradients peut augmenter d'une façon explosive pendant la rétropropagation, entraînant un dépassement de la capacité de la représentation interne des nombres (en anglais ''number overflow'').
+Problème posé, dans un réseau de neurones profond, par l'augmentation très rapide des valeurs des gradients pendant la rétropropagation entraînant un dépassement de la capacité de la représentation interne des nombres et l'arrêt de l'apprentissage.
-Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), la normalisation par lots (''batch normalization'') et l'écrêtage de gradient (''gradient clipping'').
+Note: plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, la normalisation par lots et l'écrêtage de gradient
 ==Français==
+'''problème de l'explosion du gradient'''
-'''problème de l'explosion du gradient'''   n.m.
+'''explosion du gradient'''
-'''explosion des gradients'''   n.f.
+==Anglais==
+'''exploding gradient problem'''
+'''gradient explosion problem'''
-==Anglais==
-'''Exploding Gradient Problem'''
+==Sources==
+Source: Pascanu, Razvan (2014). ''On Recurrent and Deep Neural Networks'', thèse de doctorat, Université de Montréal, 267 pages.
+[https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons Source: openclassrooms.com]
+[[Utilisateur:Patrickdrouin  | Source: Termino]]
+[[Utilisateur:Claude COULOMBE | Source: Claude Coulombe]]   ([[Discussion utilisateur:Claude COULOMBE | discussion]])
-[https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons Référence: openclassrooms.com]
+[[Category:Intelligence artificielle]]
+[[Catégorie:Apprentissage automatique]]
-[[Utilisateur:Claude COULOMBE | source : Claude Coulombe]]            ([[Discussion utilisateur:Claude COULOMBE | discussion]])
+[[Catégorie:Apprentissage profond]]
+[[Category:GRAND LEXIQUE FRANÇAIS]]
+[[Category:Termino 2019]]