« Momentum » : différence entre les versions


(Page créée avec « == Domaine == catégorie:Démo Catégorie Démo Catégorie:Apprentissage profond Apprentissage profond == Définition == == Termes privilégiés ==... »)
 
Aucun résumé des modifications
 
(24 versions intermédiaires par 3 utilisateurs non affichées)
Ligne 1 : Ligne 1 :
== Domaine ==
[[catégorie:Démo]] Catégorie Démo
[[Catégorie:Apprentissage profond]] Apprentissage profond
== Définition ==
== Définition ==
Algorithme sophistiqué de [[descente de gradient]] dans lequel une étape d'apprentissage dépend non seulement de la [[dérivée]] de l'étape actuelle, mais aussi des dérivées des étapes qui l'ont immédiatement précédée. Momentum calcule une moyenne glissante pondérée exponentiellement des gradients au fil du temps, à l'instar du calcul du moment en physique. Momentum permet parfois d'éviter à l'apprentissage de se retrouver bloqué à un minimum local.


== Français ==
'''Momentum'''


== Termes privilégiés ==
== Anglais ==
== Anglais ==
'''Momentum'''




'''Momentum'''
==Sources==
 
[https://developers.google.com/machine-learning/glossary/  Source : Google machine learning glossary ]
Momentum is an extension to the Gradient Descent Algorithm that accelerates or damps the parameter updates. In practice, including a momentum term in the gradient descent updates leads to better convergence rates in Deep Networks.
• Learning representations by back-propagating errors
Multilayer Perceptron (MLP)


A Multilayer Perceptron is a Feedforward Neural Network with multiple fully-connected layers that use nonlinear activation functions to deal with data which is not linearly separable. An MLP is the most basic form of a multilayer Neural Network, or a deep Neural Networks if it has more than 2 layers.
[[Category:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:ENGLISH]]
[[Category:Apprentissage profond]]

Dernière version du 1 avril 2024 à 14:07

Définition

Algorithme sophistiqué de descente de gradient dans lequel une étape d'apprentissage dépend non seulement de la dérivée de l'étape actuelle, mais aussi des dérivées des étapes qui l'ont immédiatement précédée. Momentum calcule une moyenne glissante pondérée exponentiellement des gradients au fil du temps, à l'instar du calcul du moment en physique. Momentum permet parfois d'éviter à l'apprentissage de se retrouver bloqué à un minimum local.

Français

Momentum

Anglais

Momentum


Sources

Source : Google machine learning glossary

Récupérée de « https://datafranca.org/wiki/index.php?title=Momentum&oldid=102452 »


Contributeurs: Claire Gorjux, Jacques Barolet, wiki, Robert Meloche