Optimiseur Adam
ROBOTIQUE
Définition
Un algorithme d'optimisation à taux d'apprentissage adaptatif qui maintient des estimations du premier et du deuxième moment des gradients par paramètre. Adam combine les avantages d'AdaGrad (taux d'apprentissage par paramètre) et de RMSProp (moyenne mobile exponentielle des gradients au carré).
C'est l'optimiseur par défaut pour l'entraînement de la plupart des modèles d'apprentissage robotique, AdamW (décorrélation de la régularisation) étant la variante la plus courante.
Français
Optimiseur Adam
Anglais
adam optimizer
Sources
Contributeurs: wiki
