« Descente de gradient stochastique » : différence entre les versions
(Ajustement de quelques sections de la fiche.) Balise : Éditeur de wikicode 2017 |
mAucun résumé des modifications Balise : Éditeur de wikicode 2017 |
||
| Ligne 23 : | Ligne 23 : | ||
'''descente de gradient stochastique''' | '''descente de gradient stochastique''' | ||
Source: Benois-Pineau, J.; Gillot, P; Y. Nesterov et A. Zemmari (2018). Reconnaissance des Formes, Image, Apprentissage et Perception, Actes de la conférence Reconnaissance des Formes, Image, Apprentissage et Perception, 7 pages. | Source: Benois-Pineau, J.; Gillot, P; Y. Nesterov et A. Zemmari (2018). Reconnaissance des Formes, Image, Apprentissage et Perception, Actes de la conférence Reconnaissance des Formes, Image, Apprentissage et Perception, 7 pages. | ||
Version du 2 juin 2019 à 16:15
Domaine
Intelligence artificielle
Apprentissage profond
Définition
Méthode de descente de gradient itérative sur des lots de données tirés aléatoirement utilisée pour minimiser une fonction objectif qui prend la forme d'une somme de fonctions différentiables
Note
En apprentissage profond, la fonction objectif que l’on cherche à minimiser est souvent non convexe et non régulière. La convergence de la descente du gradient vers le minimum global n’est donc pas garantie et la convergence même vers un minimum local peut être extrêmement lente. Une solution à ce problème consiste en l’utilisation de l’algorithme de descente de gradient stochastique
Français
descente de gradient stochastique
Source: Benois-Pineau, J.; Gillot, P; Y. Nesterov et A. Zemmari (2018). Reconnaissance des Formes, Image, Apprentissage et Perception, Actes de la conférence Reconnaissance des Formes, Image, Apprentissage et Perception, 7 pages.
Anglais
stochastic gradient descent
SGD
Contributeurs: Claire Gorjux, Jacques Barolet, Patrick Drouin, wiki
