« Momentum » : différence entre les versions


Aucun résumé des modifications
Aucun résumé des modifications
Ligne 1 : Ligne 1 :
__NOTOC__
== Domaine ==
== Domaine ==
[[Category:Vocabulary]] Vocabulary
[[Category:Vocabulaire]]Vocabulaire<br />
[[Catégorie:Apprentissage profond]] Apprentissage profond
[[Category:Google]]Google<br />
[[Category:Apprentissage profond]]Apprentissage profond<br />
 
<br />
 
== Définition ==
== Définition ==
Algorithme sophistiqué de descente de gradient dans lequel une étape d'apprentissage dépend non seulement de la dérivée de l'étape actuelle, mais aussi des dérivées des étapes qui l'ont immédiatement précédée. Momentum calcule une moyenne glissante pondérée exponentiellement des gradients au fil du temps, à l'instar du calcul du moment en physique. Momentum permet parfois d'éviter à l'apprentissage de se retrouver bloqué à un minimum local.




<br />
== Termes privilégiés ==
=== Momentum===


== Termes privilégiés ==


<br />
== Anglais ==
== Anglais ==


===  Momentum===


'''Momentum'''
<br/>
 
<br/>
Momentum is an extension to the Gradient Descent Algorithm that accelerates or damps the parameter updates. In practice, including a momentum term in the gradient descent updates leads to better convergence rates in Deep Networks.
<br/>
• Learning representations by back-propagating errors
[https://developers.google.com/machine-learning/glossary/  Source: Google machine learning glossary ]
Multilayer Perceptron (MLP)
<br/>
 
<br/>
A Multilayer Perceptron is a Feedforward Neural Network with multiple fully-connected layers that use nonlinear activation functions to deal with data which is not linearly separable. An MLP is the most basic form of a multilayer Neural Network, or a deep Neural Networks if it has more than 2 layers.
<br/>

Version du 23 mars 2018 à 21:31

Domaine

Vocabulaire
Google
Apprentissage profond


Définition

Algorithme sophistiqué de descente de gradient dans lequel une étape d'apprentissage dépend non seulement de la dérivée de l'étape actuelle, mais aussi des dérivées des étapes qui l'ont immédiatement précédée. Momentum calcule une moyenne glissante pondérée exponentiellement des gradients au fil du temps, à l'instar du calcul du moment en physique. Momentum permet parfois d'éviter à l'apprentissage de se retrouver bloqué à un minimum local.



Termes privilégiés

Momentum


Anglais

Momentum




Source: Google machine learning glossary


Récupérée de « https://datafranca.org/wiki/index.php?title=Momentum&oldid=1794 »


Contributeurs: Claire Gorjux, Jacques Barolet, wiki, Robert Meloche