« Échauffement linéaire » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
L'échauffement linéaire, aussi appelé échauffement graduel, désigne un plan pour le '''[[taux d'apprentissage]]''' dans lequel ce dernier est augmenté linéairement à partir d'un taux faible jusqu'à un | L'échauffement linéaire, aussi appelé échauffement graduel, désigne un plan pour le '''[[taux d'apprentissage]]''' dans lequel ce dernier est augmenté linéairement à partir d'un taux faible jusqu'à un taux constant. Ceci permet de réduire la versatilité dans les premiers stades de l'entraînement. | ||
Voir aussi '''[[échauffement du taux d'apprentissage | Voir aussi '''[[échauffement du taux d'apprentissage]]''' | ||
== Français == | == Français == | ||
| Ligne 28 : | Ligne 26 : | ||
[https://paperswithcode.com/method/linear-warmup Source : Paperwithcode] | [https://paperswithcode.com/method/linear-warmup Source : Paperwithcode] | ||
[[Catégorie: | [[Catégorie:publication]] | ||
Version du 30 novembre 2024 à 13:35
Définition
L'échauffement linéaire, aussi appelé échauffement graduel, désigne un plan pour le taux d'apprentissage dans lequel ce dernier est augmenté linéairement à partir d'un taux faible jusqu'à un taux constant. Ceci permet de réduire la versatilité dans les premiers stades de l'entraînement.
Voir aussi échauffement du taux d'apprentissage
Français
échauffement linéaire
échauffement graduel
Anglais
linear warm-up
linear warmup
gradual warm-up
gradual warmup
Linear warm-up, also called gradual warm-up, is a learning rate schedule where we linearly increase the learning rate from a low rate to a constant rate thereafter. This reduces volatility in the early stages of training.
Source
