Régularisation par abandon

Domaine

Vocabulaire
Google
Apprentissage profond

Définition

Forme de régularisation utile dans l'apprentissage des réseaux de neurones. La régularisation par abandon consiste à supprimer de manière aléatoire un nombre fixe d'unités dans une couche du réseau pour un pas de gradient unique. Plus le nombre d'unités abandonnées est élevé, plus la régularisation est solide. Cette méthode est analogue à l'entraînement du modèle pour émuler un groupe exponentiellement large de réseaux plus petits. Pour plus d'informations, consultez l'article Dropout: A Simple Way to Prevent Neural Networks from Overfitting (en anglais).

Anglais

dropout regularization

Source: Google machine learning glossary