« Connexion résiduelle » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 12 : | Ligne 12 : | ||
'''connexion résiduelle''' | '''connexion résiduelle''' | ||
'''connexion saute-couche''' | '''connexion saute-couche''' | ||
'''connexion identité''' | |||
'''saut de connexion''' | '''saut de connexion''' | ||
| Ligne 20 : | Ligne 22 : | ||
'''skip connection''' | '''skip connection''' | ||
'''identity connection''' | |||
<small> | <small> | ||
Version du 9 décembre 2022 à 14:53
Définition
Dans un réseau de neurones profond constitué de plusieurs couches de neurones, une connexion résiduelle (ou connexion saute-couche) est une connexion qui est ajoutée pour sauter par dessus une ou plusieurs couches de neurones. Ceci permet d'éviter une ou plusieurs couches de traitement.
Voir: ResNet
Compléments
La connexion résiduelle permet d'ajouter une contribution (résiduelle) des couches inférieures avant la transformation du gradient (diminution ou augmentation) par les couches suivantes qui sont ainsi « sautées ».
En anglais, « skip connection » et « residual connection » sont synonymes.
Français
connexion résiduelle
connexion saute-couche
connexion identité
saut de connexion
Anglais
residual connection
skip connection
identity connection
Source: Orhan, Emin et Xaq Pitkow (2018). Skip Connections Eliminate Singularities, Actes de la conférence ICLR 2018, 22 pages.
Source: Chabot, Florian (2017). Analyse fine 2D/3D de véhicules par réseaux de neurones profonds, thèse de doctorat, Université Clermont Auvergne, 171 pages.
Source: Branchaud-Charron, Frédéric (2019). Estimation de complexité et localisation de véhicules à l’aide de l’apprentissage profond, mémoire de maîtrise, Université de Sherbrooke, 151 pages.
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, wiki
