« Évanescence du gradient » : différence entre les versions


(nouveau terme)
Balise : Éditeur de wikicode 2017
m (Remplacement de texte : « ↵<small> » par «  ==Sources== »)
 
(34 versions intermédiaires par 4 utilisateurs non affichées)
Ligne 1 : Ligne 1 :
== Domaine ==
==Définition==
[[Category:Vocabulary]]<br>
Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et par conséquent l'arrêt de l'apprentissage.
[[Category:Intelligence artificielle]]Intelligence artificielle<br>
[[Catégorie:Apprentissage automatique]]Apprentissage automatique<br>
[[Catégorie:Réseau de neurones artificiels]]Réseau de neurones artificiels<br>
[[Catégorie:Apprentissage profond]]Apprentissage profond<br>
[[Category:Coulombe]]Coulombe<br>
[[Category:scotty]]


== Définition ==
==Compléments==
Le problème de la disparition du gradient (ou l'évanescence du gradient) est l'opposé du problème d'explosion du gradient. Dans les réseaux de neurones profonds, la valeur des gradients peut diminuer fortement pendant la rétropropagation, entraînant l'annulation du gradient (en anglais number underflow) or un gradient nul signifie l'arrêt de l'apprentissage.  
Nous recommandons l'expression « évanescence du gradient » pour sa spécificité et sa <i>beauté</i> langagière.


Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), et la normalisation par lots (en anglais batch normalization) .
==Français ==
'''évanescence du gradient''' 


== Français ==
'''disparition du gradient'''
<h3>
<poll> Choisissez parmi ces termes proposés :
problème de la disparition du gradient
problème de la disparition des gradients
problème de l'évanescence du gradient
problème de l'évanescence des gradients
problème du gradient évanescent
problème des gradients évanescents
</poll>
</h3>
<h3>Discussion:</h3> Pour le moment, le terme privilégié est «problème de la disparition du gradient».


<br>
'''dissipation du gradients''' 
== Anglais ==


'''problème de l'évanescence du gradient'''


'''Vanishing Gradient Problem'''
==Anglais==


The vanishing gradient problem arises in very deep Neural Networks, typically Recurrent Neural Networks, that use activation functions whose gradients tend to be small (in the range of 0 from 1). Because these small gradients are multiplied during backpropagation, they tend to “vanish” throughout the layers, preventing the network from learning long-range dependencies. Common ways to counter this problem is to use activation functions like ReLUs that do not suffer from small gradients, or use architectures like LSTMs that explicitly combat vanishing gradients. The opposite of this problem is called the exploding gradient problem.
'''gradient vanishing'''
• On the difficulty of training recurrent neural networks
<br>
<br>
<br>


'''gradient vanishing problem'''


Référence : https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons
==Sources==
<br>
 
<br>
Source: Pascanu, Razvan (2015). ''On Recurrent and Deep Neural Networks'', thèse de doctorat, Université de Montréal, 267 pages.     
<br>
 
<br>
[https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons Source : ''openclassrooms.com'']
 
[[Utilisateur:Claude COULOMBE | Source: Claude Coulombe]]            ([[Discussion utilisateur:Claude COULOMBE | discussion]])
 
[[Utilisateur:Patrickdrouin  | Source: Termino  ]]
 
 
 
[[Category:GRAND LEXIQUE FRANÇAIS]]

Dernière version du 28 janvier 2024 à 15:10

Définition

Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et par conséquent l'arrêt de l'apprentissage.

Compléments

Nous recommandons l'expression « évanescence du gradient » pour sa spécificité et sa beauté langagière.

Français

évanescence du gradient

disparition du gradient

dissipation du gradients

problème de l'évanescence du gradient

Anglais

gradient vanishing

gradient vanishing problem

Sources

Source: Pascanu, Razvan (2015). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.

Source : openclassrooms.com

Source: Claude Coulombe ( discussion)

Source: Termino

Récupérée de « https://datafranca.org/wiki/index.php?title=Évanescence_du_gradient&oldid=93075 »


Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, Pierre Labreche, wiki