« Connexion résiduelle » : différence entre les versions
Aucun résumé des modifications |
m (Remplacement de texte : « Category:Termino 2019 » par « ») |
||
| (10 versions intermédiaires par 2 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
Dans un réseau de neurones profond constitué de plusieurs couches de neurones, une connexion résiduelle (parfois appelée connexion identité ou connexion saute-couche) branche la sortie d’une couche moins profonde (en amont) pour l’ajouter à l’entrée d’une couche plus profonde du réseau (en aval) en sautant par dessus une ou plusieurs couches. Ceci permet d'éviter une ou plusieurs couches de traitement et une perte trop importante de gradient. | |||
Voir: [[ResNet]] | |||
==Compléments== | ==Compléments== | ||
La connexion résiduelle permet d'ajouter une contribution (résiduelle) des couches inférieures avant la transformation du gradient (diminution ou augmentation) par les couches suivantes qui sont ainsi « sautées ». | La connexion résiduelle permet d'ajouter une contribution (résiduelle) des couches inférieures avant la transformation du gradient (diminution ou augmentation) par les couches suivantes qui sont ainsi « sautées ». | ||
En anglais, « skip connection » et « residual connection » sont synonymes. | |||
==Français== | ==Français== | ||
'''connexion résiduelle''' | '''connexion résiduelle''' | ||
'''connexion saute-couche''' | '''connexion saute-couche''' | ||
'''connexion identité''' | |||
'''saut de connexion''' | '''saut de connexion''' | ||
| Ligne 15 : | Ligne 21 : | ||
'''residual connection''' | '''residual connection''' | ||
'''skip connection'''' | '''skip connection''' | ||
'''identity connection''' | |||
'''shortcut connection''' | |||
==Sources== | |||
Source: Orhan, Emin et Xaq Pitkow (2018). ''Skip Connections Eliminate Singularities'', Actes de la conférence ICLR 2018, 22 pages. | Source: Orhan, Emin et Xaq Pitkow (2018). ''Skip Connections Eliminate Singularities'', Actes de la conférence ICLR 2018, 22 pages. | ||
| Ligne 29 : | Ligne 39 : | ||
[[Category:Intelligence artificielle]] | [[Category:Intelligence artificielle]] | ||
[[Catégorie:Apprentissage profond]] | [[Catégorie:Apprentissage profond]] | ||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
Dernière version du 11 octobre 2024 à 08:31
Définition
Dans un réseau de neurones profond constitué de plusieurs couches de neurones, une connexion résiduelle (parfois appelée connexion identité ou connexion saute-couche) branche la sortie d’une couche moins profonde (en amont) pour l’ajouter à l’entrée d’une couche plus profonde du réseau (en aval) en sautant par dessus une ou plusieurs couches. Ceci permet d'éviter une ou plusieurs couches de traitement et une perte trop importante de gradient.
Voir: ResNet
Compléments
La connexion résiduelle permet d'ajouter une contribution (résiduelle) des couches inférieures avant la transformation du gradient (diminution ou augmentation) par les couches suivantes qui sont ainsi « sautées ».
En anglais, « skip connection » et « residual connection » sont synonymes.
Français
connexion résiduelle
connexion saute-couche
connexion identité
saut de connexion
Anglais
residual connection
skip connection
identity connection
shortcut connection
Sources
Source: Orhan, Emin et Xaq Pitkow (2018). Skip Connections Eliminate Singularities, Actes de la conférence ICLR 2018, 22 pages.
Source: Chabot, Florian (2017). Analyse fine 2D/3D de véhicules par réseaux de neurones profonds, thèse de doctorat, Université Clermont Auvergne, 171 pages.
Source: Branchaud-Charron, Frédéric (2019). Estimation de complexité et localisation de véhicules à l’aide de l’apprentissage profond, mémoire de maîtrise, Université de Sherbrooke, 151 pages.
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, wiki
