Autoattention multitêtes

Définition

En apprentissage profond, l'autoattention multitêtes est un traitement de séquence (typiquement en langue naturelle) qui consiste à paralléliser le mécanisme d'autoattention en plusieurs points de la séquence pour ensuite fusionner les résultats.

Compléments

Puisque chaque tête prête attention à un élément distinct de la séquence, le modèle capture mieux les effets de la position dans la séquence. Il en résulte une représentation plus riche.

---

En fonction des segments sur lesquels se focalise l'attention, le mécanisme pourra vérifier l'accord sujet-verbe, reconnaîtra une entité nommée ou simplement une relation entre deux mots.

Français

autoattention multitêtes

autoattention multi-têtes

attention multitêtes

attention multi-têtes

Anglais

multi-head self-attention

Mmulti-head attention

Source

Cordonnier, J.-B. (2023), Transformer Models for Vision.

Punyakeerthi (2024), Difference between Self-Attention and Multi-head Self-Attention

Vaswani et al. (2017) Attention Is All You Need