« Momentum » : différence entre les versions


Aucun résumé des modifications
Aucun résumé des modifications
 
(24 versions intermédiaires par 4 utilisateurs non affichées)
Ligne 1 : Ligne 1 :
== Domaine ==
[[Category:Vocabulary]]  Vocabulary
[[Catégorie:Apprentissage profond]] Apprentissage profond
== Définition ==
== Définition ==
Algorithme sophistiqué de '''[[descente de gradient]]''' dans lequel une étape d'apprentissage dépend non seulement de la '''[[dérivée]]''' de l'étape actuelle, mais aussi des dérivées des étapes qui l'ont immédiatement précédée. Momentum calcule une '''[[moyenne glissante]]''' pondérée exponentiellement des gradients au fil du temps, à l'instar du calcul du moment en physique. Momentum permet parfois d'éviter à l'apprentissage de se retrouver bloqué à un minimum local.


== Français ==
'''Momentum'''


== Termes privilégiés ==
== Anglais ==
== Anglais ==
'''Momentum'''
'''Momentum'''


Momentum is an extension to the Gradient Descent Algorithm that accelerates or damps the parameter updates. In practice, including a momentum term in the gradient descent updates leads to better convergence rates in Deep Networks.
==Sources==
• Learning representations by back-propagating errors
[https://developers.google.com/machine-learning/glossary/  Source : Google machine learning glossary ]
Multilayer Perceptron (MLP)


A Multilayer Perceptron is a Feedforward Neural Network with multiple fully-connected layers that use nonlinear activation functions to deal with data which is not linearly separable. An MLP is the most basic form of a multilayer Neural Network, or a deep Neural Networks if it has more than 2 layers.
[[Category:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:ENGLISH]]
[[Category:Apprentissage profond]]

Dernière version du 20 septembre 2024 à 22:01

Définition

Algorithme sophistiqué de descente de gradient dans lequel une étape d'apprentissage dépend non seulement de la dérivée de l'étape actuelle, mais aussi des dérivées des étapes qui l'ont immédiatement précédée. Momentum calcule une moyenne glissante pondérée exponentiellement des gradients au fil du temps, à l'instar du calcul du moment en physique. Momentum permet parfois d'éviter à l'apprentissage de se retrouver bloqué à un minimum local.

Français

Momentum

Anglais

Momentum

Sources

Source : Google machine learning glossary

Récupérée de « https://datafranca.org/wiki/index.php?title=Momentum&oldid=109401 »

Contributeurs: Evan Brach, Claire Gorjux, Jacques Barolet, wiki, Robert Meloche