Réseau autoattentif
Définition
Le réseau autoattentif ou réseau de neurones autoattentif désigne une architecture de réseau de neurones profond, de séquence à séquence, très performante. Il utilise le mécanisme d'attention, plus précisément l'autoattention, pour remplacer à la fois la récurrence et les convolutions.
Ceci permet d'améliorer considérablement la précision du réseau sur le plan sémantique et de traiter des jeux de données beaucoup plus volumineux.
Compléments
Contrairement à un réseau récurrent, un réseau autoattentif traite toutes les données d'entrée simultanément. Grâce au mécanisme d'autoattention, le réseau peut donner un poids variable à différentes parties de la séquence de données d'entrée mises en relation avec n'importe quelle autre partie de cette séquence.
En anglais on dit self-attention learning et plus souvent transformer qui est un clin d'œil à la franchise de jouets et films japonais « Transformers ».
Les réseaux autoattentifs sont issus des travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale.
Français
réseau de neurones autoattentif
réseau autoattentif
modèle autoattentif
apprentissage autoatttentif
réseau de neurones à autoattention
réseau à autoattention
transformeur
Anglais
Transformer
self-attention network
self-attention learning
Source: Claude Coulombe, Datafranca.org
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, wiki
