« Échauffement de l'entraînement » : différence entre les versions
(Page créée avec « == en construction == == Définition == L'échauffement de l'entraînement en apprentissage profond fait référence à une phase initiale de l'entraînement d'un modèle où le '''taux d'apprentissage''' est progressivement augmenté à partir d'une d'une petite valeur jusqu'au taux d'apprentissage désiré afin de stabiliser le processus d'optimisation et d'éviter la divergence de l'apprentissage. == Compléments == L'échauffement linéaire de l'entraî... ») |
m (Arianne a déplacé la page Training Warm-Up vers Échauffement de l'entraînement) |
||
| (2 versions intermédiaires par le même utilisateur non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
L'échauffement de l'entraînement en apprentissage profond fait référence à une phase initiale de l'entraînement d'un modèle où le '''[[taux d'apprentissage]]''' est progressivement augmenté à partir d'une d'une petite valeur jusqu'au taux d'apprentissage désiré afin de stabiliser le processus d'optimisation et d'éviter la divergence de l'apprentissage. | L'échauffement de l'entraînement en apprentissage profond fait référence à une phase initiale de l'entraînement d'un modèle où le '''[[taux d'apprentissage]]''' est progressivement augmenté à partir d'une d'une petite valeur jusqu'au taux d'apprentissage désiré, afin de stabiliser le processus d'optimisation et d'éviter la divergence de l'apprentissage. | ||
== Compléments == | == Compléments == | ||
| Ligne 8 : | Ligne 6 : | ||
== Français == | == Français == | ||
''' | ''' échauffement de l'entraînement''' | ||
''' | == Anglais == | ||
''' training warm-up''' | |||
''' training warmup''' | |||
''' | |||
== Source == | == Source == | ||
[https://www.geeksforgeeks.org/in-the-context-of-deep-learning-what-is-training-warmup-steps/ Source : Geeks for Geeks] | |||
[https://paperswithcode.com/method/linear-warmup-with-linear-decay Source : Paper with code] | |||
[[Catégorie: | [[Catégorie:publication]] | ||
Dernière version du 24 novembre 2024 à 17:28
Définition
L'échauffement de l'entraînement en apprentissage profond fait référence à une phase initiale de l'entraînement d'un modèle où le taux d'apprentissage est progressivement augmenté à partir d'une d'une petite valeur jusqu'au taux d'apprentissage désiré, afin de stabiliser le processus d'optimisation et d'éviter la divergence de l'apprentissage.
Compléments
L'échauffement linéaire de l'entraînement ou l'échauffement de l'entraînement par variation linéaire du taux d'apprentissage provient de l'anglais Linear Warmup With Linear Decay. Il s'agit d'un cas particulier d'échauffement de l'entraînement où la progression du taux d'apprentissage est linéaire, c'est-à-dire qui suit une fonction linéaire du genre a X + b où X est le taux d'apprentissage.
Français
échauffement de l'entraînement
Anglais
training warm-up
training warmup
Source
Contributeurs: Arianne
