« Problème de l'explosion du gradient » : différence entre les versions
m (Remplacement de texte : « ↵<small> » par « ==Sources== ») |
m (Remplacement de texte : « Category:Termino 2019 » par « ») |
||
| (2 versions intermédiaires par un autre utilisateur non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
Problème posé, dans un réseau de neurones profond, par l'augmentation très rapide des valeurs des gradients pendant la rétropropagation entraînant un dépassement de la capacité de la représentation interne des nombres et l'arrêt de l'apprentissage. | Problème posé, dans un réseau de neurones profond, par l'augmentation très rapide des valeurs des gradients pendant la rétropropagation, entraînant un dépassement de la capacité de la représentation interne des nombres et l'arrêt de l'apprentissage. | ||
==Complément== | |||
Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, la normalisation par lots et l'écrêtage de gradient. | |||
==Français== | ==Français== | ||
| Ligne 13 : | Ligne 14 : | ||
'''gradient explosion problem''' | '''gradient explosion problem''' | ||
==Sources== | ==Sources== | ||
Source: Pascanu, Razvan (2014). ''On Recurrent and Deep Neural Networks'', thèse de doctorat, Université de Montréal, 267 pages. | Source : Pascanu, Razvan (2014). ''On Recurrent and Deep Neural Networks'', thèse de doctorat, Université de Montréal, 267 pages. | ||
[https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons Source: openclassrooms.com] | [https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons Source : openclassrooms.com] | ||
[[Utilisateur:Patrickdrouin | Source: Termino]] | [[Utilisateur:Patrickdrouin | Source : Termino]] | ||
[[Utilisateur:Claude COULOMBE | Source: Claude Coulombe]] ([[Discussion utilisateur:Claude COULOMBE | discussion]]) | [[Utilisateur:Claude COULOMBE | Source : Claude Coulombe]] ([[Discussion utilisateur:Claude COULOMBE | discussion]]) | ||
| Ligne 30 : | Ligne 30 : | ||
[[Catégorie:Apprentissage profond]] | [[Catégorie:Apprentissage profond]] | ||
[[Category:GRAND LEXIQUE FRANÇAIS]] | [[Category:GRAND LEXIQUE FRANÇAIS]] | ||
Dernière version du 11 octobre 2024 à 08:32
Définition
Problème posé, dans un réseau de neurones profond, par l'augmentation très rapide des valeurs des gradients pendant la rétropropagation, entraînant un dépassement de la capacité de la représentation interne des nombres et l'arrêt de l'apprentissage.
Complément
Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, la normalisation par lots et l'écrêtage de gradient.
Français
problème de l'explosion du gradient
explosion du gradient
Anglais
exploding gradient problem
gradient explosion problem
Sources
Source : Pascanu, Razvan (2014). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.
Contributeurs: Evan Brach, Claude Coulombe, Jacques Barolet, Patrick Drouin, Pierre Labreche, wiki
