« Problème de l'explosion du gradient » : différence entre les versions
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
||
| Ligne 13 : | Ligne 13 : | ||
[[Category:Vocabulaire2]]<br/> | [[Category:Vocabulaire2]]<br/> | ||
[[Category:Termino 2019]] | [[Category:Termino 2019]] | ||
==Définition== | ==Définition== | ||
Problème posé, dans un réseau de neurones profond, par l'augmentation très rapide des valeurs des gradients pendant la rétropropagation entraînant un dépassement de la capacité de la représentation interne des nombres et l'arrêt de l'apprentissage. | Problème posé, dans un réseau de neurones profond, par l'augmentation très rapide des valeurs des gradients pendant la rétropropagation entraînant un dépassement de la capacité de la représentation interne des nombres et l'arrêt de l'apprentissage. | ||
Note | Note | ||
Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, la normalisation par lots et l'écrêtage de gradient | Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, la normalisation par lots et l'écrêtage de gradient | ||
==Français== | ==Français== | ||
'''problème de l'explosion du gradient''' n.m. | '''problème de l'explosion du gradient''' n.m. | ||
'''explosion du gradient''' n.f. | '''explosion du gradient''' n.f. | ||
==Anglais== | |||
'''exploding gradient problem''' | |||
'''gradient explosion problem''' | |||
Source : Pascanu, Razvan (2014). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages. | |||
[https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons Référence: openclassrooms.com] | [https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons Référence: openclassrooms.com] | ||
Version du 15 juin 2019 à 23:07
Domaine
Intelligence artificielle
Apprentissage automatique
Réseau de neurones artificiels
Apprentissage profond
Définition
Problème posé, dans un réseau de neurones profond, par l'augmentation très rapide des valeurs des gradients pendant la rétropropagation entraînant un dépassement de la capacité de la représentation interne des nombres et l'arrêt de l'apprentissage.
Note Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation, le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée, la normalisation par lots et l'écrêtage de gradient
Français
problème de l'explosion du gradient n.m.
explosion du gradient n.f.
Anglais
exploding gradient problem
gradient explosion problem
Source : Pascanu, Razvan (2014). On Recurrent and Deep Neural Networks, thèse de doctorat, Université de Montréal, 267 pages.
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, Pierre Labreche, wiki
