« Évanescence du gradient » : différence entre les versions

Version du 3 juin 2019 à 10:48

Domaine

Intelligence artificielle
Apprentissage automatique
Réseau de neurones artificiels
Apprentissage profond

Définition

Problème posé, dans un réseau de neurones profond, par la diminution très rapide des valeurs des gradients pendant la rétropropagation entraînant l'annulation du gradient et l'arrêt de l'apprentissage.

Français

problème de la disparition du gradient n.m.

problème de l'évanescence du gradient n.f.

problème de la dissipation du gradients n.f.

Source: Pascanu, Razvan (2015). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.

Anglais

gradient vanishing

Source : openclassrooms.com

source : Claude Coulombe ( discussion)

@@ Ligne 17 : / Ligne 17 : @@
-Note
-Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, et la normalisation par lots.
 ==Français ==