« Adagrad » : différence entre les versions


Aucun résumé des modifications
Aucun résumé des modifications
Ligne 1 : Ligne 1 :
__NOTOC__
== Domaine ==
== Domaine ==
[[category:Vocabulary]] Vocabulary<br />
[[Category:Vocabulaire]]Vocabulaire<br />
[[Category:Google]]Google<br />
[[Category:Apprentissage profond]]Apprentissage profond<br />


[[Catégorie:Apprentissage profond]] Apprentissage profond
<br />


== Définition ==
== Définition ==
Algorithme complexe de descente de gradient qui redimensionne les gradients de chaque paramètre en attribuant à chacun des paramètres un taux d'apprentissage indépendant. Pour une explication complète, consultez cet article.http://www.jmlr.org/papers/volume12/duchi11a/duchi11a.pdf




<br />
== Termes privilégiés ==
=== AdaGrad===


== Termes privilégiés ==


<br />
== Anglais ==
== Anglais ==


===  AdaGrad===


'''Adagrad'''
<br/>
 
<br/>
Adagrad is an adaptive learning rate algorithms that keeps track of the squared gradients over time and automatically adapts the learning rate per-parameter. It can be used instead of vanilla SGD and is particularly helpful for sparse data, where it assigns a higher learning rate to infrequently updated parameters.
<br/>
• Adaptive Subgradient Methods for Online Learning and Stochastic Optimization
[https://developers.google.com/machine-learning/glossary/  Source: Google machine learning glossary ]
• Stanford CS231n: Optimization Algorithms
<br/>
• An overview of gradient descent optimization algorithms
<br/>
<br/>

Version du 23 mars 2018 à 18:57

Domaine

Vocabulaire
Google
Apprentissage profond


Définition

Algorithme complexe de descente de gradient qui redimensionne les gradients de chaque paramètre en attribuant à chacun des paramètres un taux d'apprentissage indépendant. Pour une explication complète, consultez cet article.http://www.jmlr.org/papers/volume12/duchi11a/duchi11a.pdf



Termes privilégiés

AdaGrad


Anglais

AdaGrad




Source: Google machine learning glossary


Récupérée de « https://datafranca.org/wiki/index.php?title=Adagrad&oldid=1693 »

Contributeurs: Jacques Barolet, wiki