« Descente de gradient stochastique » : différence entre les versions

Version du 2 juin 2019 à 16:15

Domaine

Intelligence artificielle
Apprentissage profond

Définition

Méthode de descente de gradient itérative sur des lots de données tirés aléatoirement utilisée pour minimiser une fonction objectif qui prend la forme d'une somme de fonctions différentiables

Note

En apprentissage profond, la fonction objectif que l’on cherche à minimiser est souvent non convexe et non régulière. La convergence de la descente du gradient vers le minimum global n’est donc pas garantie et la convergence même vers un minimum local peut être extrêmement lente. Une solution à ce problème consiste en l’utilisation de l’algorithme de descente de gradient stochastique

Français

descente de gradient stochastique

Source: Benois-Pineau, J.; Gillot, P; Y. Nesterov et A. Zemmari (2018). Reconnaissance des Formes, Image, Apprentissage et Perception, Actes de la conférence Reconnaissance des Formes, Image, Apprentissage et Perception, 7 pages.

Anglais

stochastic gradient descent

SGD

Source: Google machine learning glossary

Source : theses.fr

@@ Ligne 3 : / Ligne 3 : @@
 [[Category:GRAND LEXIQUE FRANÇAIS]]
 [[Category:Google2]]
-[[Category:Apprentissage profond2]]
+[[Category:Intelligence artificielle]]Intelligence artificielle<br />
+[[Category:Apprentissage profond]]Apprentissage profond<br>
 [[Category:scotty2]]
+[[Category:Termino 2019]]
 <br />
 == Définition ==
-Algorithme de [[descente de gradient]] dans lequel la taille de lot est égale à un. Autrement dit, la descente de gradient stochastique repose sur un seul exemple prélevé uniformément, de manière aléatoire, dans un ensemble de données afin de calculer une estimation du gradient à chaque pas.
+Méthode de descente de gradient itérative sur des lots de données tirés aléatoirement utilisée pour minimiser une fonction objectif qui prend la forme d'une somme de fonctions différentiables
+Note
+En apprentissage profond, la fonction objectif que l’on cherche à minimiser est souvent non convexe et non régulière. La convergence de la descente du gradient vers le minimum global n’est donc pas garantie et la convergence même vers un minimum local peut être extrêmement lente. Une solution à ce problème consiste en l’utilisation de l’algorithme de descente de gradient stochastique
@@ Ligne 14 : / Ligne 22 : @@
 == Français ==
-'''descente de gradient stochastique''' (SGD) n.f.
+'''descente de gradient stochastique'''
+Source: Benois-Pineau, J.; Gillot, P; Y. Nesterov et A. Zemmari (2018). Reconnaissance des Formes, Image, Apprentissage et Perception, Actes de la conférence Reconnaissance des Formes, Image, Apprentissage et Perception, 7 pages.
 <br />
@@ Ligne 22 : / Ligne 30 : @@
 == Anglais ==
-'''stochastic gradient descent''' (SGD)
+'''stochastic gradient descent'''
+'''SGD'''