« Réseau autoattentif » : différence entre les versions
m (Pitpitt a déplacé la page Réseau de neurones à auto-attention vers Réseau autoattentif) |
Aucun résumé des modifications |
||
| Ligne 5 : | Ligne 5 : | ||
==Français== | ==Français== | ||
'''réseau de neurones à | '''réseau de neurones à autoattention''' | ||
'''réseau à | '''réseau à autoattention''' | ||
'''Réseau | '''Réseau autoattentif''' | ||
==Anglais== | ==Anglais== | ||
Version du 1 août 2022 à 08:10
Définition
Architecture de réseau de neurones profonds très performante en termes de calcul qui utilise le mécanisme d'attention, plus précisément l'auto-attention, pour remplacer à la fois la récurrence et les convolutions.
Note: soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale.
Français
réseau de neurones à autoattention
réseau à autoattention
Réseau autoattentif
Anglais
Transformer
Source: Claude Coulombe, Datafranca.org
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, wiki
