« Réseau autoattentif » : différence entre les versions
m (Révocation des modifications de Claude COULOMBE (discussion) vers la dernière version de Pitpitt) Balise : Révocation |
(Annulation des modifications 70731 de Claude COULOMBE (discussion)) Balise : Annulation |
||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
Le réseau autoattentif ou réseau de neurones autoattentif désigne une architecture de réseau de neurones profond, de séquence à séquence, très performante. Il utilise le mécanisme d'attention, plus précisément l'autoattention, pour remplacer à la fois la récurrence et les convolutions. | Le réseau autoattentif ou réseau de neurones autoattentif désigne une architecture de réseau de neurones profond, de [[Modèle séquence à séquence|séquence à séquence]], très performante. Il utilise le mécanisme d'attention, plus précisément l'autoattention, pour remplacer à la fois la récurrence et les convolutions. | ||
Contrairement à un [[réseau récurrent]], un réseau autoattentif traite toutes les données d'entrée simultanément. Grâce au mécanisme d'autoattention, le réseau calcule un poids particulier à différentes parties de la séquence de données d'entrée en relation avec n'importe quelle autre partie de cette séquence. | |||
==Compléments== | ==Compléments== | ||
En anglais on dit self-attention learning et plus souvent transformer qui est un clin d'œil à la franchise de jouets et films japonais « Transformers ». | En anglais on dit self-attention learning et plus souvent transformer qui est un clin d'œil à la franchise de jouets et films japonais « Transformers ». | ||
Les réseaux autoattentifs sont issus des travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale. | Les réseaux autoattentifs sont issus des travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention d'abord utilisé en traduction automatique neuronale. | ||
==Français== | ==Français== | ||
| Ligne 20 : | Ligne 22 : | ||
'''réseau à autoattention''' | '''réseau à autoattention''' | ||
'''architecture autoattentive''' | |||
'''modèle autoattentif''' | |||
'''transformeur''' | '''transformeur''' | ||
'''transformateur''' | |||
==Anglais== | ==Anglais== | ||
Version du 22 mars 2023 à 15:50
Définition
Le réseau autoattentif ou réseau de neurones autoattentif désigne une architecture de réseau de neurones profond, de séquence à séquence, très performante. Il utilise le mécanisme d'attention, plus précisément l'autoattention, pour remplacer à la fois la récurrence et les convolutions.
Contrairement à un réseau récurrent, un réseau autoattentif traite toutes les données d'entrée simultanément. Grâce au mécanisme d'autoattention, le réseau calcule un poids particulier à différentes parties de la séquence de données d'entrée en relation avec n'importe quelle autre partie de cette séquence.
Compléments
En anglais on dit self-attention learning et plus souvent transformer qui est un clin d'œil à la franchise de jouets et films japonais « Transformers ».
Les réseaux autoattentifs sont issus des travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention d'abord utilisé en traduction automatique neuronale.
Français
réseau de neurones autoattentif
réseau autoattentif
modèle autoattentif
apprentissage autoatttentif
réseau de neurones à autoattention
réseau à autoattention
architecture autoattentive
modèle autoattentif
transformeur
transformateur
Anglais
Transformer
self-attention network
self-attention learning
Source: Claude Coulombe, Datafranca.org
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, wiki
