Initialisation des poids
ROBOTIQUE
Définition
La stratégie pour définir les valeurs initiales des paramètres du réseau de neurones avant l'entraînement. Une initialisation appropriée (Xavier/Glorot, Kaiming/He) garantit que les activations et les gradients maintiennent une magnitude appropriée à travers les couches au début de l'entraînement.
Une mauvaise initialisation peut causer des gradients qui s'évanouissent ou explosent. L'initialisation pré-entraînée (à partir de modèles de fondation) est une forme d'apprentissage par transfert.
Français
Initialisation des poids
Anglais
Weight Initialization
Sources
Contributeurs: wiki
