Ecrêtage de gradient


(Redirigé depuis Écrêtage de gradient)
La version imprimable n’est plus prise en charge et peut comporter des erreurs de génération. Veuillez mettre à jour les signets de votre navigateur et utiliser à la place la fonction d’impression par défaut de celui-ci.

Définition

Mécanisme couramment utilisé afin d'atténuer le problème d'explosion du gradient en limitant artificiellement la valeur maximale des gradients lors de l'utilisation de la descente de gradient pendant l'entraînement d'un modèle.

Français

écrêtage de gradient

bornement de gradient

seuillage de gradient

Anglais

Gradient Clipping

Sources

Source: Géron, Aurélien (2017). Deep Learning avec TensorFlow - Mise en oeuvre et cas concrets, Paris, Dunod, 360 pages.

Source:L'apprentissage profond p.295

Source: Termino