« Autoattention multitêtes » : différence entre les versions

Version du 3 septembre 2024 à 15:24

En apprentissage profond, l'autoattention multitêtes est un traitement de séquences (typiquement en langue naturelle) qui consiste à paralléliser le mécanisme d'autoattention en plusieurs points de la séquence pour ensuite fusionner les résultats.

Autoattention multitêtes

Autoattention multi-têtes

Multi-Head Attention

Multi-Head Self-Attention

@@ Ligne 18 : / Ligne 18 : @@
 == Source ==
-[https://infoscience.epfl.ch/record/300271/files/EPFL_TH9822.pdf Source : Cordonnier, J.-B. (2023), ''Transformer Models for Vision''.]
+[https://infoscience.epfl.ch/record/300271/files/EPFL_TH9822.pdf Cordonnier, J.-B. (2023), ''Transformer Models for Vision''.]
-[https://medium.com/@punya8147_26846/difference-between-self-attention-and-multi-head-self-attention-e33ebf4f3ee0, Source: Punyakeerthi (2024), ''Difference between Self-Attention and Multi-head Self-Attention'']
+[https://medium.com/@punya8147_26846/difference-between-self-attention-and-multi-head-self-attention-e33ebf4f3ee0, Punyakeerthi (2024), ''Difference between Self-Attention and Multi-head Self-Attention'']
-[https://cs.paperswithcode.com/method/multi-head-attention   Source : Vaswani et al. (2017) ''Attention Is All You Need'']
+[https://cs.paperswithcode.com/method/multi-head-attention Vaswani et al. (2017) ''Attention Is All You Need'']
 [[Catégorie:Publication]]