« Autoattention multitêtes » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
En [[apprentissage profond]], l'[[Réseau autoattentif|autoattention]] multitêtes est un traitement de séquences (typiquement en langue naturelle) qui consiste à paralléliser le mécanisme d'[[Réseau autoattentif|autoattention]] en plusieurs points de la séquence pour ensuite fusionner les résultats. | En [[apprentissage profond]], l'[[Réseau autoattentif|autoattention]] multitêtes est un traitement de [[Séquence de mots|séquences]] (typiquement en [[langue naturelle]]) qui consiste à paralléliser le mécanisme d'[[Réseau autoattentif|autoattention]] en plusieurs points de la [[Séquence de mots|séquence]] pour ensuite fusionner les résultats. | ||
== Français == | == Français == | ||
Version du 3 septembre 2024 à 15:16
Définition
En apprentissage profond, l'autoattention multitêtes est un traitement de séquences (typiquement en langue naturelle) qui consiste à paralléliser le mécanisme d'autoattention en plusieurs points de la séquence pour ensuite fusionner les résultats.
Français
Autoattention multitêtes
Autoattention multi-têtes
Anglais
Multi-Head Attention
Multi-Head Self-Attention
Source
Source : Cordonnier, J.-B. (2023), Transformer Models for Vision.
Source: Punyakeerthi (2024), Difference between Self-Attention and Multi-head Self-Attention
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
