« Mécanisme d'attention » : différence entre les versions
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
m (Remplacement de texte — « <small> loc. nom. fém. </small> » par « <small> féminin </small> ») |
||
| Ligne 9 : | Ligne 9 : | ||
'''attention''' <small>nom fém. </small> | '''attention''' <small>nom fém. </small> | ||
'''modèle d'attention visuelle ''' <small> | '''modèle d'attention visuelle ''' <small> féminin </small> | ||
Version du 22 mai 2020 à 12:21
Définition
Inspiré par l'attention visuelle humaine, un mécanisme d'attention est la capacité d'apprendre à se concentrer sur des parties spécifiques d'une données complexes, par exemple une partie d'une image ou un mot dans un phrase. Des mécanismes d'attention peuvent être incorporés dans les architectures de traitement de la langue naturelle et de reconnaissance d'images pour aider un réseau de neurones artificiels à apprendre sur quoi "se concentrer" lorsqu'il fait des prédictions.
Soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale. Perfectionné par des chercheurs de Google, le mécanisme d'attention et d'auto-attention (self-attention) est aujourd'hui à la base de nouvelles architectures de réseau de neurones très performantes comme l'architecture Transformer.
Français
mécanisme d'attention loc. nom. masc.
attention nom fém.
modèle d'attention visuelle féminin
Anglais
Attention Mechanism
visual attention model
Source: Simonnet, Edwin (2019). Réseaux de neurones profonds appliqués à la compréhension de la parole, Université du Maine, 182 pages.
Contributeurs: Claude Coulombe, Jacques Barolet, Julie Roy, Patrick Drouin, wiki
