« Mécanisme d'attention » : différence entre les versions
m (Remplacement de texte — « <small>féminin </small> » par « ») |
m (Remplacement de texte : « Category:Termino 2019 » par « ») |
||
| (3 versions intermédiaires par 2 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
Inspiré par l'attention visuelle humaine, un mécanisme d'attention est la capacité d'apprendre à se concentrer sur des parties spécifiques d'une données complexes, par exemple une partie d'une image ou | Inspiré par l'attention visuelle humaine, un mécanisme d'attention est la capacité d'apprendre à se concentrer sur des parties spécifiques d'une données complexes, par exemple une partie d'une image ou certains mots dans une phrase. Des mécanismes d'attention peuvent être incorporés dans les architectures de traitement de la langue naturelle et de reconnaissance d'images pour aider un réseau de neurones artificiels à apprendre sur quoi "se concentrer" lorsqu'il fait des prédictions. | ||
Soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale. Perfectionné par des chercheurs de Google, le mécanisme d'attention et d'auto-attention (self-attention) est aujourd'hui à la base de nouvelles architectures de réseau de neurones très performantes comme l'architecture Transformer. | == Compléments == | ||
Soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale. Perfectionné par des chercheurs de Google, le mécanisme d'attention et d'auto-attention (self-attention) est aujourd'hui à la base de nouvelles architectures de réseau de neurones très performantes comme l'architecture de [[réseau autoattentif]], en anglais ''Transformer''. | |||
==Français== | ==Français== | ||
| Ligne 13 : | Ligne 14 : | ||
==Anglais== | ==Anglais== | ||
''' | '''attention mechanism''' | ||
'''attention''' | |||
'''visual attention model ''' | '''visual attention model ''' | ||
==Sources== | |||
Source: Simonnet, Edwin (2019). ''Réseaux de neurones profonds appliqués à la compréhension de la parole'', Université du Maine, 182 pages. | Source: Simonnet, Edwin (2019). ''Réseaux de neurones profonds appliqués à la compréhension de la parole'', Université du Maine, 182 pages. | ||
| Ligne 32 : | Ligne 35 : | ||
[[Category:Intelligence artificielle]] | [[Category:Intelligence artificielle]] | ||
[[Category:GRAND LEXIQUE FRANÇAIS]] | [[Category:GRAND LEXIQUE FRANÇAIS]] | ||
Dernière version du 11 octobre 2024 à 08:33
Définition
Inspiré par l'attention visuelle humaine, un mécanisme d'attention est la capacité d'apprendre à se concentrer sur des parties spécifiques d'une données complexes, par exemple une partie d'une image ou certains mots dans une phrase. Des mécanismes d'attention peuvent être incorporés dans les architectures de traitement de la langue naturelle et de reconnaissance d'images pour aider un réseau de neurones artificiels à apprendre sur quoi "se concentrer" lorsqu'il fait des prédictions.
Compléments
Soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale. Perfectionné par des chercheurs de Google, le mécanisme d'attention et d'auto-attention (self-attention) est aujourd'hui à la base de nouvelles architectures de réseau de neurones très performantes comme l'architecture de réseau autoattentif, en anglais Transformer.
Français
mécanisme d'attention
attention
modèle d'attention visuelle
Anglais
attention mechanism
attention
visual attention model
Sources
Source: Simonnet, Edwin (2019). Réseaux de neurones profonds appliqués à la compréhension de la parole, Université du Maine, 182 pages.
Contributeurs: Claude Coulombe, Jacques Barolet, Julie Roy, Patrick Drouin, wiki
