« Momentum » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
Algorithme sophistiqué de [[descente de gradient]] dans lequel une étape d'apprentissage dépend non seulement de la [[dérivée]] de l'étape actuelle, mais aussi des dérivées des étapes qui l'ont immédiatement précédée. Momentum calcule une moyenne glissante pondérée exponentiellement des gradients au fil du temps, à l'instar du calcul du moment en physique. Momentum permet parfois d'éviter à l'apprentissage de se retrouver bloqué à un minimum local. | Algorithme sophistiqué de '''[[descente de gradient]]''' dans lequel une étape d'apprentissage dépend non seulement de la '''[[dérivée]]''' de l'étape actuelle, mais aussi des dérivées des étapes qui l'ont immédiatement précédée. Momentum calcule une '''[[moyenne glissante]]''' pondérée exponentiellement des gradients au fil du temps, à l'instar du calcul du moment en physique. Momentum permet parfois d'éviter à l'apprentissage de se retrouver bloqué à un minimum local. | ||
== Français == | == Français == | ||
| Ligne 7 : | Ligne 7 : | ||
== Anglais == | == Anglais == | ||
'''Momentum''' | '''Momentum''' | ||
==Sources== | ==Sources== | ||
Dernière version du 20 septembre 2024 à 23:01
Définition
Algorithme sophistiqué de descente de gradient dans lequel une étape d'apprentissage dépend non seulement de la dérivée de l'étape actuelle, mais aussi des dérivées des étapes qui l'ont immédiatement précédée. Momentum calcule une moyenne glissante pondérée exponentiellement des gradients au fil du temps, à l'instar du calcul du moment en physique. Momentum permet parfois d'éviter à l'apprentissage de se retrouver bloqué à un minimum local.
Français
Momentum
Anglais
Momentum
Sources
Contributeurs: Evan Brach, Claire Gorjux, Jacques Barolet, wiki, Robert Meloche
