« Évanescence du gradient » : différence entre les versions

Dernière version du 1 août 2024 à 17:38

Définition

Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et par conséquent l'arrêt de l'apprentissage.

Compléments

Nous recommandons l'expression « évanescence du gradient » pour sa spécificité et sa beauté langagière.

Français

évanescence du gradient

disparition du gradient

dissipation du gradients

problème de l'évanescence du gradient

Anglais

gradient vanishing

gradient vanishing problem

Sources

Source: Pascanu, Razvan (2015). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.

Source : openclassrooms.com

Source: Claude Coulombe ( discussion)

Source: Termino

@@ Ligne 1 : / Ligne 1 : @@
-==Domaine==
+==Définition==
-[[Category:Intelligence artificielle]]Intelligence artificielle<br>
+Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et par conséquent l'arrêt de l'apprentissage.
-[[Catégorie:Apprentissage automatique]]Apprentissage automatique<br>
-[[Catégorie:Réseau de neurones artificiels]]Réseau de neurones artificiels<br>
-[[Catégorie:Apprentissage profond]]Apprentissage profond<br>
-[[Category:Coulombe2]]
-[[Category:scotty2]]
-[[Category:GRAND LEXIQUE FRANÇAIS]]
-[[Category:Vocabulaire]]
-[[Category:Termino 2019]]
-[[Category:SCOTTY]]
+==Compléments==
+Nous recommandons l'expression « évanescence du gradient » pour sa spécificité et sa <i>beauté</i> langagière.
-==Définition==
+==Français ==
-Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et l'arrêt de l'apprentissage.
+'''évanescence du gradient'''
+'''disparition du gradient'''
-Note
+'''dissipation du gradients'''
-Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, et la normalisation par lots.
+'''problème de l'évanescence du gradient'''
-==Français ==
+==Anglais==
-'''problème de la disparition du gradient'''  n.m.
+'''gradient vanishing'''
-'''problème de l'évanescence du gradient'''  n.f.
+'''gradient vanishing problem'''
-'''problème de la dissipation du gradients'''  n.f.
+==Sources==
+Source: Pascanu, Razvan (2015). ''On Recurrent and Deep Neural Networks'', thèse de doctorat, Université de Montréal, 267 pages.
-Source: Pascanu, Razvan (2015). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.
+[https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons Source : ''openclassrooms.com'']
+[[Utilisateur:Claude COULOMBE | Source: Claude Coulombe]]            ([[Discussion utilisateur:Claude COULOMBE | discussion]])
-==Anglais==
+[[Utilisateur:Patrickdrouin  | Source: Termino  ]]
-'''gradient vanishing'''
+[[Category:GRAND LEXIQUE FRANÇAIS]]
-[https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons Source : openclassrooms.com]
+{{DEFAULTSORT: evanescence du gradient}}
-[[Utilisateur:Claude COULOMBE | source : Claude Coulombe]]            ([[Discussion utilisateur:Claude COULOMBE | discussion]])

« Évanescence du gradient » : différence entre les versions