« Évanescence du gradient » : différence entre les versions
m (Remplacement de texte — « Catégorie:Réseau de neurones artificiels » par « ») |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et l'arrêt de l'apprentissage. | Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et par conséquent l'arrêt de l'apprentissage. | ||
==Français == | ==Français == | ||
Version du 1 décembre 2022 à 01:09
Définition
Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et par conséquent l'arrêt de l'apprentissage.
Français
problème de la disparition du gradient
problème de l'évanescence du gradient
problème de la dissipation du gradients
Anglais
gradient vanishing problem
gradient vanishing
Source: Pascanu, Razvan (2015). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, Pierre Labreche, wiki
