« Évanescence du gradient » : différence entre les versions
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
||
| Ligne 1 : | Ligne 1 : | ||
==Domaine== | ==Domaine== | ||
[[Category:Intelligence artificielle]] | [[Category:Intelligence artificielle]] | ||
Intelligence artificielle<br> | Intelligence artificielle<br> | ||
| Ligne 9 : | Ligne 8 : | ||
[[Catégorie:Apprentissage profond]] | [[Catégorie:Apprentissage profond]] | ||
Apprentissage profond<br> | Apprentissage profond<br> | ||
[[Category: | [[Category:Coulombe2]] | ||
[[Category: | [[Category:scotty2]] | ||
[[Category: | [[Category:GRAND LEXIQUE FRANÇAIS]] | ||
==Définition== | ==Définition== | ||
| Ligne 18 : | Ligne 17 : | ||
Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), et la normalisation par lots (batch normalization) . | Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), et la normalisation par lots (batch normalization) . | ||
==Français | ==Français == | ||
'''problème de la disparition du gradient''' n.m. | '''problème de la disparition du gradient''' n.m. | ||
| Ligne 26 : | Ligne 25 : | ||
'''disparition des gradients''' n.f. | '''disparition des gradients''' n.f. | ||
==Anglais== | ==Anglais== | ||
'''Vanishing Gradient Problem''' | '''Vanishing Gradient Problem''' | ||
[https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons Source : openclassrooms.com] | [https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons Source : openclassrooms.com] | ||
[[Utilisateur:Claude COULOMBE | source : Claude Coulombe]] ([[Discussion utilisateur:Claude COULOMBE | discussion]]) | |||
Version du 24 mai 2019 à 21:49
Domaine
Intelligence artificielle
Apprentissage automatique
Réseau de neurones artificiels
Apprentissage profond
Définition
Le problème de la disparition du gradient (ou l'évanescence du gradient) est l'opposé du problème d'explosion du gradient. Dans les réseaux de neurones profonds, la valeur des gradients peut diminuer fortement pendant la rétropropagation, entraînant l'annulation du gradient (en anglais number underflow) où un gradient nul signifie l'arrêt de l'apprentissage.
Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), et la normalisation par lots (batch normalization) .
Français
problème de la disparition du gradient n.m.
évanescence du gradient n.f.
disparition des gradients n.f.
Anglais
Vanishing Gradient Problem
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, Pierre Labreche, wiki
