Normalisation par lots

Définition

Méthode qui permet de rendre un réseau de neurones artificiels plus stable et plus rapide, par la normalisation des données à l'entrée des couches, et ce, en les recentrant et en les remettant à l'échelle.

Autrement dit, traitement des données au cours duquel sont normalisées les entrées de chaque couche de neurones.

Robotique - Une technique qui normalise les entrées de couche sur le mini-lot pour avoir une moyenne nulle et une variance unitaire, puis applique une transformation affine apprise. La normalisation par lot stabilise l'entraînement, permet des taux d'apprentissage plus élevés et agit comme un régulariseur. Elle est standard dans les CNN mais moins courante dans les Transformers, qui utilisent généralement la normalisation de couche à la place.