« Évanescence du gradient » : différence entre les versions
m (Claude COULOMBE a déplacé la page Problème de la disparition du gradient vers Évanescence du gradient) |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et par conséquent l'arrêt de l'apprentissage. | Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et par conséquent l'arrêt de l'apprentissage. | ||
==Compléments== | |||
Nous recommandons l'expression « évanescence du gradient » pour sa spécificité et « sa beauté » langagière. | |||
==Français == | ==Français == | ||
'''problème de l'évanescence du gradient''' | |||
'''problème de la disparition du gradient''' | '''problème de la disparition du gradient''' | ||
'''problème de la dissipation du gradients''' | '''problème de la dissipation du gradients''' | ||
| Ligne 13 : | Ligne 16 : | ||
'''gradient vanishing''' | '''gradient vanishing''' | ||
<small> | <small> | ||
Version du 2 janvier 2024 à 19:11
Définition
Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et par conséquent l'arrêt de l'apprentissage.
Compléments
Nous recommandons l'expression « évanescence du gradient » pour sa spécificité et « sa beauté » langagière.
Français
problème de l'évanescence du gradient
problème de la disparition du gradient
problème de la dissipation du gradients
Anglais
gradient vanishing problem
gradient vanishing
Source: Pascanu, Razvan (2015). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, Pierre Labreche, wiki
