« Autoattention multitêtes » : différence entre les versions
Aucun résumé des modifications |
m (Patrickdrouin a déplacé la page Multi-Head Attention vers Autoattention multitêtes) |
(Aucune différence)
| |
Version du 3 septembre 2024 à 14:17
Définition
En apprentissage profond, l'autoattention multitêtes est un traitement de séquences (typiquement en langue naturelle) qui consiste à paralléliser le mécanisme d'autoattention en plusieurs points de la séquence pour ensuite fusionner les résultats.
Français
Autoattention multitêtes
Autoattention multi-têtes
Anglais
Multi-Head Attention
Multi-Head Self-Attention
Source
Source : Cordonnier, J.-B. (2023), Transformer Models for Vision.
Source: Punyakeerthi (2024), Difference between Self-Attention and Multi-head Self-Attention
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
