« Réseau autoattentif » : différence entre les versions

Version du 24 décembre 2022 à 19:10

Définition

Le réseau autoattentif ou réseau de neurones autoattentif désigne une architecture de réseau de neurones profond, de séquence à séquence, très performante. Il utilise le mécanisme d'attention, plus précisément l'autoattention, pour remplacer à la fois la récurrence et les convolutions.

Compléments

En anglais on dit self-attention learning et plus souvent transformer qui est un clin d'œil à la franchise de jouets et films japonais « Transformers ».

Les réseaux autoattentifs sont issus des travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention d'abord utilisé en traduction automatique neuronale.

Français

réseau de neurones autoattentif

réseau autoattentif

modèle autoattentif

apprentissage autoatttentif

réseau de neurones à autoattention

réseau à autoattention

transformeur

Anglais

Transformer

self-attention network

self-attention learning

Source: Claude Coulombe, Datafranca.org

Source: Termino

@@ Ligne 1 : / Ligne 1 : @@
 ==Définition==
-Le réseau autoattentif ou réseau de neurones autoattentif désigne une architecture de réseau de neurones profond, de séquence à séquence, très performante. Il utilise le mécanisme d'attention, plus précisément l'autoattention, pour remplacer à la fois la récurrence et les convolutions.
+Le réseau autoattentif ou réseau de neurones autoattentif désigne une architecture de réseau de neurones profond, de  [[Modèle séquence à séquence|séquence à séquence]], très performante. Il utilise le mécanisme d'attention, plus précisément l'autoattention, pour remplacer à la fois la récurrence et les convolutions.
 ==Compléments==