Autoattention multitêtes

Définition

En apprentissage profond, l'autoattention multitêtes est un traitement de séquences (typiquement en langue naturelle) qui consiste à paralléliser le mécanisme d'autoattention en plusieurs points de la séquence pour ensuite fusionner les résultats.

Français

Autoattention multitêtes

Autoattention multi-têtes

Anglais

Multi-Head Attention

Multi-Head Self-Attention

Source

Source : Cordonnier, J.-B. (2023), Transformer Models for Vision.

Source: Punyakeerthi (2024), Difference between Self-Attention and Multi-head Self-Attention

Source : Vaswani et al. (2017) Attention Is All You Need