« Problème de l'explosion du gradient » : différence entre les versions


Aucun résumé des modifications
Balise : Éditeur de wikicode 2017
Aucun résumé des modifications
Balise : Éditeur de wikicode 2017
Ligne 1 : Ligne 1 :
==Domaine==
[[Category:Intelligence artificielle]]
[[Category:Intelligence artificielle]]Intelligence artificielle<br>
[[Catégorie:Apprentissage automatique]]
[[Catégorie:Apprentissage automatique]]Apprentissage automatique<br>
[[Catégorie:Réseau de neurones artificiels]]
[[Catégorie:Réseau de neurones artificiels]]Réseau de neurones artificiels<br>
[[Catégorie:Apprentissage profond]]
[[Catégorie:Apprentissage profond]]Apprentissage profond
[[Category:Coulombe2]]
[[Category:Coulombe2]]
[[Category:scotty2]]
[[Category:scotty2]]
Ligne 13 : Ligne 12 :
Problème posé, dans un réseau de neurones profond, par l'augmentation très rapide des valeurs des gradients pendant la rétropropagation entraînant un dépassement de la capacité de la représentation interne des nombres et l'arrêt de l'apprentissage.
Problème posé, dans un réseau de neurones profond, par l'augmentation très rapide des valeurs des gradients pendant la rétropropagation entraînant un dépassement de la capacité de la représentation interne des nombres et l'arrêt de l'apprentissage.
   
   
Note
Note: Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, la normalisation par lots et l'écrêtage de gradient
Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, la normalisation par lots et l'écrêtage de gradient


==Français==
==Français==
Ligne 20 : Ligne 18 :


'''explosion du gradient'''  n.f.
'''explosion du gradient'''  n.f.


==Anglais==
==Anglais==
Ligne 29 : Ligne 26 :




<small>
Source : Pascanu, Razvan (2014). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.
Source : Pascanu, Razvan (2014). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.


Ligne 35 : Ligne 33 :
[[Utilisateur:Patrickdrouin  | Source : Termino  ]]     
[[Utilisateur:Patrickdrouin  | Source : Termino  ]]     


[[Utilisateur:Claude COULOMBE | source : Claude Coulombe]]           ([[Discussion utilisateur:Claude COULOMBE | discussion]])
[[Utilisateur:Claude COULOMBE | source : Claude Coulombe]]   ([[Discussion utilisateur:Claude COULOMBE | discussion]])

Version du 17 juin 2019 à 21:05


Définition

Problème posé, dans un réseau de neurones profond, par l'augmentation très rapide des valeurs des gradients pendant la rétropropagation entraînant un dépassement de la capacité de la représentation interne des nombres et l'arrêt de l'apprentissage.

Note: Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, la normalisation par lots et l'écrêtage de gradient

Français

problème de l'explosion du gradient n.m.

explosion du gradient n.f.

Anglais

exploding gradient problem

gradient explosion problem


Source : Pascanu, Razvan (2014). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.

Référence: openclassrooms.com

Source : Termino

source : Claude Coulombe ( discussion)