« Réseau autoattentif » : différence entre les versions

Dernière version du 11 octobre 2024 à 08:30

Définition

Le réseau autoattentif ou réseau de neurones autoattentif désigne une architecture de réseau de neurones profond, de séquence à séquence, très performante. Il utilise le mécanisme d'attention, plus précisément l'autoattention, pour remplacer à la fois la récurrence et les convolutions.

Le mécanisme d'autoattention permet d'améliorer considérablement la précision du réseau sur le plan sémantique et de traiter des jeux de données beaucoup plus volumineux car le traitement peut se faire plus facilement en parallèle grâce à l'apprentissage autosupervisé.

Compléments

Contrairement à un réseau récurrent, un réseau autoattentif traite toutes les données d'entrée simultanément. Grâce au mécanisme d'autoattention, le réseau peut donner un poids (ou attention) variable à différentes parties de la séquence de données d'entrée mises en relation avec n'importe quelle autre partie de cette séquence.

Des exemples connus de réseaux ou de modèles autoattentifs sont: BERT de Google et GPT d'OpenAI.

En anglais on dit self-attention learning et plus souvent transformer qui est un clin d'œil à la franchise de jouets et films japonais « Transformers ».

Les réseaux autoattentifs sont le prolongement des travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale.

Français

réseau de neurones autoattentif

transformeur

réseau autoattentif

modèle autoattentif

apprentissage autoatttentif

architecture autoattentive

transformateur (emploi plus rare)

Anglais

transformer

transformer architecture

self-attention network

self-attention neural network

self-attention learning

self-attention model

self-attention architecture

Sources

Source : Légifrance

Source: Claude Coulombe, Datafranca.org

Source: Termino

101 MOTS DE L' IA
Ce terme est sélectionné pour le livre « Les 101 mots de l'intelligence artificielle »

@@ Ligne 1 : / Ligne 1 : @@
 ==Définition==
-Le réseau autoattentif ou réseau de neurones autoattentif désigne une architecture de réseau de neurones profond, de  [[Modèle séquence à séquence|séquence à séquence]], très performante. Il utilise le mécanisme d'attention, plus précisément l'autoattention, pour remplacer à la fois la récurrence et les convolutions.
+Le réseau autoattentif ou réseau de neurones autoattentif désigne une architecture de réseau de neurones profond, de [[Modèle séquence à séquence|séquence à séquence]], très performante. Il utilise le [[Mécanisme_d%27attention|mécanisme d'attention]], plus précisément l'autoattention, pour remplacer à la fois la récurrence et les convolutions.
-Contrairement à un [[réseau récurrent]], un réseau autoattentif traite toutes les données d'entrée simultanément. Grâce au mécanisme d'autoattention, le réseau calcule un poids particulier à différentes parties de la séquence de données d'entrée en relation avec n'importe quelle autre partie de cette séquence.
+Le mécanisme d'autoattention permet d'améliorer considérablement la précision du réseau sur le plan sémantique et de traiter des jeux de données beaucoup plus volumineux car le traitement peut se faire plus facilement en parallèle grâce à l'[[apprentissage autosupervisé]].
 ==Compléments==
+Contrairement à un [[réseau récurrent]], un réseau autoattentif traite toutes les données d'entrée simultanément. Grâce au mécanisme d'autoattention, le réseau peut donner un poids (ou attention) variable à différentes parties de la séquence de données d'entrée mises en relation avec n'importe quelle autre partie de cette séquence.
+<hr/>
+Des exemples connus de réseaux ou de modèles autoattentifs sont: [[BERT]] de Google et [[GPT]] d'OpenAI.
+<hr/>
 En anglais on dit self-attention learning et plus souvent transformer qui est un clin d'œil à la franchise de jouets et films japonais « Transformers ».
+<hr/>
-Les réseaux autoattentifs sont issus des travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention d'abord utilisé en traduction automatique neuronale.
+Les réseaux autoattentifs sont le prolongement des travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale.
 ==Français==
 '''réseau de neurones autoattentif'''
+'''transformeur'''
 '''réseau autoattentif'''
@@ Ligne 19 : / Ligne 25 : @@
 '''apprentissage autoatttentif'''
-'''réseau de neurones à autoattention'''
+'''architecture autoattentive'''
-'''réseau à autoattention'''
+'''transformateur''' <small>(emploi plus rare)</small>
-'''architecture autoattentive'''
+==Anglais==
+'''transformer'''
-'''modèle autoattentif'''
+'''transformer architecture'''
-'''transformeur'''
+'''self-attention network'''
-'''transformateur'''
+'''self-attention neural network'''
-==Anglais==
+'''self-attention learning'''
-'''Transformer'''
-'''self-attention network'''
+'''self-attention model'''
-'''self-attention learning'''
+'''self-attention architecture'''
-<small>
+==Sources==
+[https://www.legifrance.gouv.fr/jorf/id/JORFTEXT000050185686 Source : Légifrance]
 [[Utilisateur:Claude COULOMBE | Source: Claude Coulombe, Datafranca.org]]
@@ Ligne 44 : / Ligne 51 : @@
 [[Utilisateur:Patrickdrouin  | Source: Termino]]
-</small><br> <div style="border:2px solid #336699; background: #f6f6f6; padding: 1em; margin-bottom:1em; width: 90%;"><html><a href="https://datafranca.org/wiki/Cat%C3%A9gorie:101"><img src="https://datafranca.org/images/icone-101-mots.png" width="250"></a></html>
+</small><br> {{Modèle:101}}<br>
-<br></div><br><br>
 [[Category:Intelligence artificielle]]
 [[Category:Apprentissage profond]]
-[[Category:Termino 2019]]
 [[Category:GRAND LEXIQUE FRANÇAIS]]
 [[Catégorie:101]]

« Réseau autoattentif » : différence entre les versions