« Évanescence du gradient » : différence entre les versions

Version du 19 avril 2019 à 23:35

Domaine

Intelligence artificielle
Apprentissage automatique
Réseau de neurones artificiels
Apprentissage profond

Définition

Le problème de la disparition du gradient (ou l'évanescence du gradient) est l'opposé du problème d'explosion du gradient. Dans les réseaux de neurones profonds, la valeur des gradients peut diminuer fortement pendant la rétropropagation, entraînant l'annulation du gradient (en anglais number underflow) or un gradient nul signifie l'arrêt de l'apprentissage.

Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), et la normalisation par lots (en anglais batch normalization) .

Français

problème de la disparition du gradient

problème de la disparition des gradients

Anglais

Vanishing Gradient Problem

source : openclassrooms.com

@@ Ligne 1 : / Ligne 1 : @@
-== Domaine ==
+==Domaine==
-[[Category:Vocabulary]]<br>
+[[Category:Vocabulary]]
-[[Category:Intelligence artificielle]]Intelligence artificielle<br>
+[[Category:Intelligence artificielle]]
-[[Catégorie:Apprentissage automatique]]Apprentissage automatique<br>
+Intelligence artificielle<br>
-[[Catégorie:Réseau de neurones artificiels]]Réseau de neurones artificiels<br>
+[[Catégorie:Apprentissage automatique]]
-[[Catégorie:Apprentissage profond]]Apprentissage profond<br>
+Apprentissage automatique<br>
-[[Category:Coulombe]]Coulombe<br>
+[[Catégorie:Réseau de neurones artificiels]]
+Réseau de neurones artificiels<br>
+[[Catégorie:Apprentissage profond]]
+Apprentissage profond<br>
+[[Category:Coulombe]]
 [[Category:scotty]]
-== Définition ==
+==Définition==
 Le problème de la disparition du gradient (ou l'évanescence du gradient) est l'opposé du problème d'explosion du gradient. Dans les réseaux de neurones profonds, la valeur des gradients peut diminuer fortement pendant la rétropropagation, entraînant l'annulation du gradient (en anglais number underflow) or un gradient nul signifie l'arrêt de l'apprentissage.
 Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), et la normalisation par lots (en anglais batch normalization) .
-== Français ==
+==Français==
-<h3>
-<poll> Choisissez parmi ces termes proposés :
+'''problème de la disparition du gradient'''
-problème de la disparition du gradient
-problème de la disparition des gradients
+'''problème de la disparition des gradients'''
-problème de l'évanescence du gradient
-problème de l'évanescence des gradients
-problème du gradient évanescent
-problème des gradients évanescents
-</poll>
-</h3>
-<h3>Discussion:</h3> Pour le moment, le terme privilégié est «problème de la disparition du gradient».
 <br>
-== Anglais ==
+==Anglais==
 '''Vanishing Gradient Problem'''
-The vanishing gradient problem arises in very deep Neural Networks, typically Recurrent Neural Networks, that use activation functions whose gradients tend to be small (in the range of 0 from 1). Because these small gradients are multiplied during backpropagation, they tend to “vanish” throughout the layers, preventing the network from learning long-range dependencies. Common ways to counter this problem is to use activation functions like ReLUs that do not suffer from small gradients, or use architectures like LSTMs that explicitly combat vanishing gradients. The opposite of this problem is called the exploding gradient problem.
-•	On the difficulty of training recurrent neural networks
-<br>
 <br>
 <br>
+[https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons   source : openclassrooms.com ]
-Référence : https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons
 <br>
 <br>
 <br>
 <br>