Connexion résiduelle
Définition
Dans un réseau de neurones profond constitué de plusieurs couches de neurones, une connexion résiduelle ou connexion saute-couche est une connexion qui est ajoutée pour sauter par dessus une ou plusieurs couches de neurones. Ceci permet d'éviter une ou plusieurs couches de traitement.
Voir: ResNet
Compléments
La connexion résiduelle permet d'ajouter une contribution (résiduelle) des couches inférieures avant la transformation du gradient (diminution ou augmentation) par les couches suivantes qui sont ainsi « sautées ».
En anglais, « skip connection » et « residual connection » sont synonymes.
Français
connexion résiduelle
connexion saute-couche
saut de connexion
Anglais
residual connection
skip connection
Source: Orhan, Emin et Xaq Pitkow (2018). Skip Connections Eliminate Singularities, Actes de la conférence ICLR 2018, 22 pages.
Source: Chabot, Florian (2017). Analyse fine 2D/3D de véhicules par réseaux de neurones profonds, thèse de doctorat, Université Clermont Auvergne, 171 pages.
Source: Branchaud-Charron, Frédéric (2019). Estimation de complexité et localisation de véhicules à l’aide de l’apprentissage profond, mémoire de maîtrise, Université de Sherbrooke, 151 pages.
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, wiki
