Réseau autoattentif
Définition
Le réseau autoattentif ou réseau de neurones autoattentif désigne une architecture de réseau de neurones profond, de séquence à séquence, très performante. Il utilise le mécanisme d'attention, plus précisément l'autoattention, pour remplacer à la fois la récurrence et les convolutions.
Le mécanisme d'autoattention permet d'améliorer considérablement la précision du réseau sur le plan sémantique et de traiter des jeux de données beaucoup plus volumineux car le traitement peut se faire plus facilement en parallèle grâce à l'apprentissage autosupervisé.
Compléments
Contrairement à un réseau récurrent, un réseau autoattentif traite toutes les données d'entrée simultanément. Grâce au mécanisme d'autoattention, le réseau peut donner un poids (ou attention) variable à différentes parties de la séquence de données d'entrée mises en relation avec n'importe quelle autre partie de cette séquence.
Des exemples connus de réseaux ou de modèles autoattentifs sont: BERT de Google et GPT d'OpenAI.
En anglais on dit self-attention learning et plus souvent transformer qui est un clin d'œil à la franchise de jouets et films japonais « Transformers ».
Les réseaux autoattentifs sont le prolongement des travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale.
Français
réseau de neurones autoattentif
réseau autoattentif
modèle autoattentif
apprentissage autoatttentif
architecture autoattentive
transformeur
transformateur (emploi plus rare)
Anglais
transformer
transformer architecture
self-attention network
self-attention neural network
self-attention learning
self-attention model
self-attention architecture
Sources
Source: Claude Coulombe, Datafranca.org
101 MOTS DE L' IA
Ce terme est sélectionné pour le livre « Les 101 mots de l'intelligence artificielle »
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, wiki
