« Évanescence du gradient » : différence entre les versions


Aucun résumé des modifications
Aucun résumé des modifications
 
(31 versions intermédiaires par 4 utilisateurs non affichées)
Ligne 1 : Ligne 1 :
==Domaine==
==Définition==
[[Category:Vocabulary]]
Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et par conséquent l'arrêt de l'apprentissage.
[[Category:Intelligence artificielle]]
 
Intelligence artificielle<br>  
==Compléments==
[[Catégorie:Apprentissage automatique]]
Nous recommandons l'expression « évanescence du gradient » pour sa spécificité et sa <i>beauté</i> langagière.
Apprentissage automatique<br>
 
[[Catégorie:Réseau de neurones artificiels]]
==Français ==
Réseau de neurones artificiels<br>
'''évanescence du gradient''' 
[[Catégorie:Apprentissage profond]]
 
Apprentissage profond<br>
'''disparition du gradient'''
[[Category:Coulombe]]
[[Category:scotty]]


==Définition==
'''dissipation du gradients''' 
Le problème de la disparition du gradient (ou l'évanescence du gradient) est l'opposé du problème d'explosion du gradient. Dans les réseaux de neurones profonds, la valeur des gradients peut diminuer fortement pendant la rétropropagation, entraînant l'annulation du gradient (en anglais ''number underflow'') où un gradient nul signifie l'arrêt de l'apprentissage.
 
'''problème de l'évanescence du gradient'''
 
==Anglais==
 
'''gradient vanishing'''
 
'''gradient vanishing problem'''


Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), et la normalisation par lots (batch normalization) .
==Sources==


==Français  >>>>>>redirections==
Source: Pascanu, Razvan (2015). ''On Recurrent and Deep Neural Networks'', thèse de doctorat, Université de Montréal, 267 pages.     


'''problème de la disparition du gradient''' n.m.
[https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons Source : ''openclassrooms.com'']


'''évanescence du gradient'''  n.f.
[[Utilisateur:Claude COULOMBE | Source: Claude Coulombe]]            ([[Discussion utilisateur:Claude COULOMBE | discussion]])


'''disparition des gradients''' n.f.
[[Utilisateur:Patrickdrouin | Source: Termino  ]]


<br>


==Anglais==
[[Category:GRAND LEXIQUE FRANÇAIS]]
'''Vanishing Gradient Problem'''


<br>
{{DEFAULTSORT: evanescence du gradient}}
<br>
[https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons source : openclassrooms.com]
<br>
<br>
<br>
<br>

Dernière version du 1 août 2024 à 17:38

Définition

Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et par conséquent l'arrêt de l'apprentissage.

Compléments

Nous recommandons l'expression « évanescence du gradient » pour sa spécificité et sa beauté langagière.

Français

évanescence du gradient

disparition du gradient

dissipation du gradients

problème de l'évanescence du gradient

Anglais

gradient vanishing

gradient vanishing problem

Sources

Source: Pascanu, Razvan (2015). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.

Source : openclassrooms.com

Source: Claude Coulombe ( discussion)

Source: Termino


Récupérée de « https://datafranca.org/wiki/index.php?title=Évanescence_du_gradient&oldid=104461 »

Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, Pierre Labreche, wiki