Optimiseur


Domaine

Vocabulaire
Google
Apprentissage profond


Définition

Implémentation particulière de l'algorithme de descente de gradient. La classe de base de TensorFlow pour les optimiseurs est tf.train.Optimizer. Différents optimiseurs (sous-classes de tf.train.Optimizer) tiennent compte des concepts tels que :

  • le moment (Momentum) ;
  • la fréquence de mise à jour (AdaGrad = descente de gradient adaptative ; Adam = adaptative avec Momentum ; RMSProp) ;
  • la parcimonie/régularisation (Ftrl) ;
  • des opérations mathématiques plus complexes (proximal et autres).

Il est même possible d'imaginer un optimiseur reposant sur un réseau de neurones.



Termes privilégiés

optimiseur n.m.


Anglais

optimizer




Source: Google machine learning glossary