« Optimiseur » : différence entre les versions
m (Ajout de la lettre i dans la définition au début du mot implémentation qui était manquante.) |
Aucun résumé des modifications |
||
| Ligne 8 : | Ligne 8 : | ||
== Définition == | == Définition == | ||
Implémentation particulière de l'algorithme de descente de gradient. La classe de base de TensorFlow pour les optimiseurs est tf.train.Optimizer. Différents optimiseurs (sous-classes de tf.train.Optimizer) tiennent compte des concepts tels que : | |||
* le moment (Momentum) ; | * le moment (Momentum) ; | ||
* | * la fréquence de mise à jour (AdaGrad = descente de gradient adaptative ; Adam = adaptative avec Momentum ; RMSProp) ; | ||
* la parcimonie/régularisation (Ftrl) ; | * la parcimonie/régularisation (Ftrl) ; | ||
* des opérations mathématiques plus complexes (proximal et autres). | * des opérations mathématiques plus complexes (proximal et autres). | ||
Il est même possible d'imaginer un optimiseur reposant sur un réseau de neurones. | Il est même possible d'imaginer un optimiseur reposant sur un réseau de neurones. | ||
Version du 6 décembre 2018 à 21:51
Domaine
Vocabulaire
Google
Apprentissage profond
Définition
Implémentation particulière de l'algorithme de descente de gradient. La classe de base de TensorFlow pour les optimiseurs est tf.train.Optimizer. Différents optimiseurs (sous-classes de tf.train.Optimizer) tiennent compte des concepts tels que :
- le moment (Momentum) ;
- la fréquence de mise à jour (AdaGrad = descente de gradient adaptative ; Adam = adaptative avec Momentum ; RMSProp) ;
- la parcimonie/régularisation (Ftrl) ;
- des opérations mathématiques plus complexes (proximal et autres).
Il est même possible d'imaginer un optimiseur reposant sur un réseau de neurones.
Termes privilégiés
optimiseur
Anglais
optimizer
Contributeurs: Claire Gorjux, Jacques Barolet, Nathalie Tremblay, wiki, Robert Meloche
