Normalisation par lots

Définition

Méthode qui permet de rendre un réseau de neurones artificiels plus stable et plus rapide, par la normalisation des données à l'entrée des couches, et ce, en les recentrant et en les remettant à l'échelle.

Autrement dit, traitement des données au cours duquel sont normalisées les entrées de chaque couche de neurones.

Robotique - Une technique qui normalise les entrées de couche sur le mini-lot pour avoir une moyenne nulle et une variance unitaire, puis applique une transformation affine apprise. La normalisation par lot stabilise l'entraînement, permet des taux d'apprentissage plus élevés et agit comme un régulariseur. Elle est standard dans les CNN mais moins courante dans les Transformers, qui utilisent généralement la normalisation de couche à la place.

Français

normalisation par lots

normalisation de lots

À éviter: « normalisation par batch ».

Anglais

batch normalisation

batch normalization

Sources

Source: Goodfellow, Ian; Bengio, Yoshua et Aaron Courville (2018), Apprentissage profond, Paris, Massot éditions, 800 pages.

Source: Goodfellow, Ian; Bengio, Yoshua et Aaron Courville (2016), Deep Learning, Cambridge, The MIT Press, 775 pages (Version française).

Source: Termino

Source : 24pm Academy

Source : Robotic Center

---

LEXIQUE DE LA ROBOTIQUE