« Évanescence du gradient » : différence entre les versions

Version du 2 juin 2019 à 16:50

Domaine

Intelligence artificielle
Apprentissage automatique
Réseau de neurones artificiels
Apprentissage profond

Définition

Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et l'arrêt de l'apprentissage.

Note

Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, et la normalisation par lots.

Français

problème de la disparition du gradient n.m.

problème de l'évanescence du gradient n.f.

problème de la dissipation du gradients n.f.

Source: Pascanu, Razvan (2015). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.

Anglais

gradient vanishing

Source : openclassrooms.com

source : Claude Coulombe ( discussion)

@@ Ligne 1 : / Ligne 1 : @@
 ==Domaine==
-[[Category:Intelligence artificielle]]
+[[Category:Intelligence artificielle]]Intelligence artificielle<br>
-Intelligence artificielle<br>
+[[Catégorie:Apprentissage automatique]]Apprentissage automatique<br>
-[[Catégorie:Apprentissage automatique]]
+[[Catégorie:Réseau de neurones artificiels]]Réseau de neurones artificiels<br>
-Apprentissage automatique<br>
+[[Catégorie:Apprentissage profond]]Apprentissage profond<br>
-[[Catégorie:Réseau de neurones artificiels]]
-Réseau de neurones artificiels<br>
-[[Catégorie:Apprentissage profond]]
-Apprentissage profond<br>
 [[Category:Coulombe2]]
 [[Category:scotty2]]
 [[Category:GRAND LEXIQUE FRANÇAIS]]
+[[Category:Vocabulaire]]
+[[Category:Termino 2019]]
 ==Définition==
-Le problème de la disparition du gradient (ou l'évanescence du gradient) est l'opposé du problème d'explosion du gradient. Dans les réseaux de neurones profonds, la valeur des gradients peut diminuer fortement pendant la rétropropagation, entraînant l'annulation du gradient (en anglais ''number underflow'') où un gradient nul signifie l'arrêt de l'apprentissage.
+Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et l'arrêt de l'apprentissage.
-Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), et la normalisation par lots (batch normalization) .
+Note
+Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, et la normalisation par lots.
 ==Français ==
@@ Ligne 21 : / Ligne 22 : @@
 '''problème de la disparition du gradient'''  n.m.
-'''évanescence du gradient'''  n.f.
+'''problème de l'évanescence du gradient'''  n.f.
+'''problème de la dissipation du gradients'''  n.f.
-'''disparition des gradients'''  n.f.
+Source: Pascanu, Razvan (2015). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.
 ==Anglais==
-'''Vanishing Gradient Problem'''
+'''gradient vanishing'''