Connexion résiduelle

Domaine

Intelligence artificielle
Apprentissage profond

Définition

Connexion supplémentaire ajoutée entre les différentes couches d'un réseau neuronal qui permettent d'éviter une ou plusieurs couches de traitement non linéaire.

Note

Permet d'ajouter une contribution (résidielle) des couches inférieures avant la transformation du gradient (diminution ou augmentation) par les couches suivantes qui sont ainsi « sautées ».

Français

connexion saute-couche

connection résiduelle

saut de connexion

Source: Orhan, Emin et Xaq Pitkow (2018). Skip Connections Eliminate Singularities, Actes de la conférence ICLR 2018, 22 pages.

Source : Chabot, Florian (2017). Analyse fine 2D/3D de véhicules par réseaux de neurones profonds, thèse de doctorat, Université Clermont Auvergne, 171 pages.

Source : Branchaud-Charron, Frédéric (2019). Estimation de complexité et localisation devéhicules à l’aide de l’apprentissage profond, mémoire de maîtrise, Université de Sherbrooke, 151 pages.

Anglais

residual connection

skip connection'

Note

Residual connections and skip connections are used interchangeably.
These types of connections can skip multiple layers.