« Autoattention multitêtes » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 10 : | Ligne 10 : | ||
''' Autoattention multi-têtes ''' | ''' Autoattention multi-têtes ''' | ||
'''Attention multitêtes''' | |||
'''Attention multi-têtes''' | |||
== Anglais == | == Anglais == | ||
| Ligne 15 : | Ligne 19 : | ||
''' Multi-Head Self-Attention''' | ''' Multi-Head Self-Attention''' | ||
<!-- Multi-head Attention is a module for attention mechanisms which runs through an attention mechanism several times in parallel. The independent attention outputs are then concatenated and linearly transformed into the expected dimension. Intuitively, multiple attention heads allows for attending to parts of the sequence differently (e.g. longer-term dependencies versus shorter-term dependencies). | <!-- Multi-head Attention is a module for attention mechanisms which runs through an attention mechanism several times in parallel. The independent attention outputs are then concatenated and linearly transformed into the expected dimension. Intuitively, multiple attention heads allows for attending to parts of the sequence differently (e.g. longer-term dependencies versus shorter-term dependencies). | ||
Version du 3 septembre 2024 à 14:55
Définition
En apprentissage profond, l'autoattention multitêtes est un traitement de séquences (typiquement en langue naturelle) qui consiste à paralléliser le mécanisme d'autoattention en plusieurs points de la séquence pour ensuite fusionner les résultats.
Compléments
En fonction des segments sur lesquels se focalise l'attention, le mécanisme pourra vérifier l'accord sujet-verbe, reconnaîtra une entité nommée ou simplement une relation entre deux mots.
Français
Autoattention multitêtes
Autoattention multi-têtes
Attention multitêtes
Attention multi-têtes
Anglais
Multi-Head Attention
Multi-Head Self-Attention
Source
Cordonnier, J.-B. (2023), Transformer Models for Vision.
Punyakeerthi (2024), Difference between Self-Attention and Multi-head Self-Attention
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
