« Problème de l'explosion du gradient » : différence entre les versions

Dernière version du 11 octobre 2024 à 08:32

Définition

Problème posé, dans un réseau de neurones profond, par l'augmentation très rapide des valeurs des gradients pendant la rétropropagation, entraînant un dépassement de la capacité de la représentation interne des nombres et l'arrêt de l'apprentissage.

Complément

Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, la normalisation par lots et l'écrêtage de gradient.

Français

problème de l'explosion du gradient

explosion du gradient

Anglais

exploding gradient problem

gradient explosion problem

Sources

Source : Pascanu, Razvan (2014). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.

Source : openclassrooms.com

Source : Termino

Source : Claude Coulombe ( discussion)

@@ Ligne 1 : / Ligne 1 : @@
-== Domaine ==
+==Définition==
-[[Category:Vocabulary]]  Vocabulary<br />
+Problème posé, dans un réseau de neurones profond, par l'augmentation très rapide des valeurs des gradients pendant la rétropropagation, entraînant un dépassement de la capacité de la représentation interne des nombres et l'arrêt de l'apprentissage.
-[[Catégorie:Apprentissage profond]] Apprentissage profond
-[[Category:scotty]]
-== Définition ==
-définition amanquante
+==Complément==
+Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, la normalisation par lots et l'écrêtage de gradient.
-== Français ==
+==Français==
+'''problème de l'explosion du gradient'''
-=== le problème de l'explosion du gradient  ===
+'''explosion du gradient'''
+==Anglais==
+'''exploding gradient problem'''
-== Anglais ==
+'''gradient explosion problem'''
+==Sources==
+Source : Pascanu, Razvan (2014). ''On Recurrent and Deep Neural Networks'', thèse de doctorat, Université de Montréal, 267 pages.
-===Exploding Gradient Problem===
+[https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons Source : openclassrooms.com]
-The Exploding Gradient Problem is the opposite of the Vanishing Gradient Problem. In Deep Neural Networks gradients may explode during backpropagation, resulting number overflows. A common technique to deal with exploding gradients is to perform Gradient Clipping.
+[[Utilisateur:Patrickdrouin  | Source : Termino]]
-•	On the difficulty of training recurrent neural networks
+[[Utilisateur:Claude COULOMBE | Source : Claude Coulombe]]   ([[Discussion utilisateur:Claude COULOMBE | discussion]])
-<br>
-<br>
+[[Category:Intelligence artificielle]]
+[[Catégorie:Apprentissage automatique]]
-Référence: https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons
+[[Catégorie:Apprentissage profond]]
+[[Category:GRAND LEXIQUE FRANÇAIS]]

« Problème de l'explosion du gradient » : différence entre les versions