« Problème de l'explosion du gradient » : différence entre les versions
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
== Domaine == | ==Domaine== | ||
[[Category:Vocabulary]] | [[Category:Vocabulary]] | ||
[[Category:Intelligence artificielle]]Intelligence artificielle<br> | [[Category:Intelligence artificielle]] | ||
[[Catégorie:Apprentissage automatique]]Apprentissage automatique<br> | Intelligence artificielle<br> | ||
[[Catégorie:Réseau de neurones artificiels]]Réseau de neurones artificiels<br> | [[Catégorie:Apprentissage automatique]] | ||
[[Catégorie:Apprentissage profond]]Apprentissage profond | Apprentissage automatique<br> | ||
[[Catégorie:Réseau de neurones artificiels]] | |||
Réseau de neurones artificiels<br> | |||
[[Catégorie:Apprentissage profond]] | |||
Apprentissage profond | |||
[[Category:Coulombe]] | [[Category:Coulombe]] | ||
[[Category:scotty]] | [[Category:scotty]] | ||
== Définition == | ==Définition== | ||
Le problème de l'explosion du gradient est l'opposé du problème du gradient évanescent (ou disparition du gradient). Dans les réseaux de neurones profonds, la valeur des gradients peut augmenter d'une façon explosive pendant la rétropropagation, entraînant un dépassement de la capacité de la représentation interne des nombres (en anglais number overflow). | Le problème de l'explosion du gradient est l'opposé du problème du gradient évanescent (ou disparition du gradient). Dans les réseaux de neurones profonds, la valeur des gradients peut augmenter d'une façon explosive pendant la rétropropagation, entraînant un dépassement de la capacité de la représentation interne des nombres (en anglais number overflow). | ||
Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), la normalisation par lots ( | Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), la normalisation par lots (''batch normalization'') et l'écrêtage de gradient (''gradient clipping''). | ||
== Français == | ==Français== | ||
'''problème de l'explosion du gradient''' n.m. | '''problème de l'explosion du gradient''' n.m. | ||
| Ligne 20 : | Ligne 24 : | ||
==Anglais== | |||
== Anglais == | |||
'''Exploding Gradient Problem''' | '''Exploding Gradient Problem''' | ||
| Ligne 30 : | Ligne 33 : | ||
<br> | <br> | ||
[https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons | [https://openclassrooms.com/courses/utilisez-des-modeles-supervises-non-lineaires/empilez-les-perceptrons Référence: openclassrooms.com] | ||
Version du 24 mai 2019 à 21:20
Domaine
Intelligence artificielle
Apprentissage automatique
Réseau de neurones artificiels
Apprentissage profond
Définition
Le problème de l'explosion du gradient est l'opposé du problème du gradient évanescent (ou disparition du gradient). Dans les réseaux de neurones profonds, la valeur des gradients peut augmenter d'une façon explosive pendant la rétropropagation, entraînant un dépassement de la capacité de la représentation interne des nombres (en anglais number overflow).
Plusieurs techniques permettent de contrer l'explosion du gradient à commencer par de meilleures techniques d'initialisation (par exemple, Xavier ou Glorot), le choix de fonctions d'activation non saturantes comme la fonction linéaire rectifiée (en anglais ReLU), la normalisation par lots (batch normalization) et l'écrêtage de gradient (gradient clipping).
Français
problème de l'explosion du gradient n.m.
problème de l'explosion des gradients n.m.
Anglais
Exploding Gradient Problem
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, Pierre Labreche, wiki
