« Descente de gradient stochastique » : différence entre les versions
Aucun résumé des modifications |
m (Remplacement de texte : « Category:Termino 2019 » par « ») |
||
| (2 versions intermédiaires par 2 utilisateurs non affichées) | |||
| Ligne 2 : | Ligne 2 : | ||
Méthode de descente de gradient itérative sur des lots de données tirés aléatoirement utilisée pour minimiser une fonction objectif qui prend la forme d'une somme de fonctions différentiables. | Méthode de descente de gradient itérative sur des lots de données tirés aléatoirement utilisée pour minimiser une fonction objectif qui prend la forme d'une somme de fonctions différentiables. | ||
Remarque : en [[apprentissage profond]], la fonction objectif que l’on cherche à minimiser est souvent non convexe et non régulière. La convergence de la descente du gradient vers le minimum global n’est donc pas garantie et la convergence même vers un minimum local peut être extrêmement lente.Une solution à ce problème consiste en l’utilisation de l’algorithme de descente de gradient stochastique. | Remarque : en '''[[apprentissage profond]]''', la fonction objectif que l’on cherche à minimiser est souvent non convexe et non régulière. La convergence de la descente du gradient vers le minimum global n’est donc pas garantie et la convergence même vers un minimum local peut être extrêmement lente. Une solution à ce problème consiste en l’utilisation de l’algorithme de descente de gradient stochastique. | ||
==Français== | ==Français== | ||
| Ligne 19 : | Ligne 19 : | ||
[https://developers.google.com/machine-learning/glossary/ Source : ''Google machine learning glossary''] | [https://developers.google.com/machine-learning/glossary/ Source : ''Google machine learning glossary''] | ||
[[Utilisateur:Patrickdrouin | Source: Termino]] | [[Utilisateur:Patrickdrouin | Source : Termino]] | ||
[[Category:GRAND LEXIQUE FRANÇAIS]] | [[Category:GRAND LEXIQUE FRANÇAIS]] | ||
[[Category:Intelligence artificielle]] | [[Category:Intelligence artificielle]] | ||
[[Category:Apprentissage profond]] | [[Category:Apprentissage profond]] | ||
Dernière version du 11 octobre 2024 à 08:33
Définition
Méthode de descente de gradient itérative sur des lots de données tirés aléatoirement utilisée pour minimiser une fonction objectif qui prend la forme d'une somme de fonctions différentiables.
Remarque : en apprentissage profond, la fonction objectif que l’on cherche à minimiser est souvent non convexe et non régulière. La convergence de la descente du gradient vers le minimum global n’est donc pas garantie et la convergence même vers un minimum local peut être extrêmement lente. Une solution à ce problème consiste en l’utilisation de l’algorithme de descente de gradient stochastique.
Français
descente de gradient stochastique
Anglais
stochastic gradient descent
Sources
Source : Benois-Pineau, J.; Gillot, P; Y. Nesterov et A. Zemmari (2018). Reconnaissance des Formes, Image, Apprentissage et Perception, Actes de la conférence Reconnaissance des Formes, Image, Apprentissage et Perception, 7 pages.
Source : Goodfellow, Ian; Bengio, Yoshua et Aaron Courville (2018), Apprentissage profond, Paris, Massot éditions, 800 pages.
Contributeurs: Evan Brach, Claire Gorjux, Jacques Barolet, Patrick Drouin, wiki
