« Problème de l'explosion du gradient » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 8 : | Ligne 8 : | ||
Réseau de neurones artificiels<br> | Réseau de neurones artificiels<br> | ||
[[Catégorie:Apprentissage profond]] | [[Catégorie:Apprentissage profond]] | ||
Apprentissage profond | Apprentissage profond | ||
[[Category:Coulombe]] | [[Category:Coulombe]] | ||
[[Category:scotty]] | [[Category:scotty]] | ||
==Définition== | ==Définition== | ||
Le problème de l'explosion du gradient est l'opposé du problème du gradient évanescent (ou disparition du gradient). Dans les réseaux de neurones profonds, la valeur des gradients peut augmenter d'une façon explosive pendant la rétropropagation, entraînant un dépassement de la capacité de la représentation interne des nombres (en anglais number overflow). | Le problème de l'explosion du gradient est l'opposé du problème du gradient évanescent (ou disparition du gradient). Dans les réseaux de neurones profonds, la valeur des gradients peut augmenter d'une façon explosive pendant la rétropropagation, entraînant un dépassement de la capacité de la représentation interne des nombres (en anglais ''number overflow''). | ||
Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), la normalisation par lots (''batch normalization'') et l'écrêtage de gradient (''gradient clipping''). | Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), la normalisation par lots (''batch normalization'') et l'écrêtage de gradient (''gradient clipping''). | ||
| Ligne 21 : | Ligne 21 : | ||
'''problème de l'explosion du gradient''' n.m. | '''problème de l'explosion du gradient''' n.m. | ||
'' | '''explosion des gradients''' n.f. | ||
Version du 24 mai 2019 à 20:23
Domaine
Intelligence artificielle
Apprentissage automatique
Réseau de neurones artificiels
Apprentissage profond
Définition
Le problème de l'explosion du gradient est l'opposé du problème du gradient évanescent (ou disparition du gradient). Dans les réseaux de neurones profonds, la valeur des gradients peut augmenter d'une façon explosive pendant la rétropropagation, entraînant un dépassement de la capacité de la représentation interne des nombres (en anglais number overflow).
Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), la normalisation par lots (batch normalization) et l'écrêtage de gradient (gradient clipping).
Français
problème de l'explosion du gradient n.m.
explosion des gradients n.f.
Anglais
Exploding Gradient Problem
Contributeurs: Evan Brach, Claude Coulombe, Jacques Barolet, Patrick Drouin, Pierre Labreche, wiki
