Autoattention multitêtes

Définition

En apprentissage profond, l'autoattention multitêtes est un traitement de séquences (typiquement en langue naturelle) qui consiste à paralléliser le mécanisme d'autoattention en plusieurs points de la séquence pour ensuite fusionner les résultats.

Français

Autoattention multitêtes

Autoattention multi-têtes

Anglais

Multi-Head Attention

Multi-Head Self-Attention

Source

Cordonnier, J.-B. (2023), Transformer Models for Vision.

Punyakeerthi (2024), Difference between Self-Attention and Multi-head Self-Attention

Vaswani et al. (2017) Attention Is All You Need