« Ecrêtage de gradient » : différence entre les versions

Version du 3 juin 2019 à 21:56

Domaine

Intelligence artificielle
Apprentissage automatique
Apprentissage profond

Définition

Mécanisme couramment utilisé afin d'atténuer le problème d'explosion du gradient en limitant artificiellement la valeur maximale des gradients lors de l'utilisation de la descente de gradient pendant l'entraînement d'un modèle.

Français

écrêtage de gradient

bornement de gradient

Source: Géron, Aurélien (2017). Deep Learning avec TensorFlow - Mise en oeuvre et cas concrets, Paris, Dunod, 360 pages.

Anglais

Gradient Clipping

@@ Ligne 26 : / Ligne 26 : @@
 '''Gradient Clipping'''
-Gradient Clipping is a technique to prevent exploding gradients in very deep networks, typically Recurrent Neural Networks. There exist various ways to perform gradient clipping, but the a common one is to normalize the gradients of a parameter vector when its L2 norm exceeds a certain threshold according to new_gradients = gradients * threshold / l2_norm(gradients).
-•	On the difficulty of training recurrent neural networks