« Réseau autoattentif » : différence entre les versions

Version du 13 août 2022 à 15:40

Définition

Le réseau autoattentif ou réseau de neurones autoattentif désigne une architecture de réseau de neurones profond de séquence à séquence très performante qui utilise le mécanisme d'attention, plus précisément l'autoattention, pour remplacer à la fois la récurrence et les convolutions.

Compléments

En anglais on dit self-attention learning et plus souvent transformer qui est un clin d'œil à la franchise de jouets et films japonais « Transformers ».

Les réseaux autoattentifs sont issus des travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale.

Français

réseau de neurones autoattentif

réseau autoattentif

modèle autoattentif

apprentissage autoatttentif

réseau de neurones à autoattention

réseau à autoattention

transformeur

Anglais

Transformer

self-attention network

self-attention learning

Source: Claude Coulombe, Datafranca.org

Source: Termino

@@ Ligne 1 : / Ligne 1 : @@
 ==Définition==
-Architecture de réseau de neurones profonds très performante en termes de calcul qui utilise le mécanisme d'attention, plus précisément l'auto-attention, pour remplacer à la fois la récurrence et les convolutions.
+Le réseau autoattentif ou réseau de neurones autoattentif désigne une architecture de réseau de neurones profond de séquence à séquence très performante qui utilise le mécanisme d'attention, plus précisément l'autoattention, pour remplacer à la fois la récurrence et les convolutions.
-Note: soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale.
+==Compléments==
+En anglais on dit self-attention learning et plus souvent transformer qui est un clin d'œil à la franchise de jouets et films japonais « Transformers ».
+Les réseaux autoattentifs sont issus des travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale.
 ==Français==
+'''réseau de neurones autoattentif'''
+'''réseau autoattentif'''
+'''modèle autoattentif'''
+'''apprentissage autoatttentif'''
 '''réseau de neurones à autoattention'''
 '''réseau à autoattention'''
-'''Réseau autoattentif'''
+'''transformeur'''
 ==Anglais==
 '''Transformer'''
+'''self-attention network'''
+'''self-attention learning'''
 <small>
@@ Ligne 20 : / Ligne 36 : @@
 [[Utilisateur:Patrickdrouin  | Source: Termino]]
 </small><br> <div style="border:2px solid #336699; background: #f6f6f6; padding: 1em; margin-bottom:1em; width: 90%;"><html><a href="https://datafranca.org/wiki/Cat%C3%A9gorie:101"><img src="https://datafranca.org/images/icone-101-mots.png" width="250"></a></html>
 <br></div><br><br>
 [[Category:Intelligence artificielle]]
@@ Ligne 32 : / Ligne 45 : @@
 [[Category:GRAND LEXIQUE FRANÇAIS]]
 [[Catégorie:101]]
+[[Catégorie:PUBLICATION]]