« Réseau autoattentif » : différence entre les versions
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
m (Remplacement de texte — « <small>loc. nom. masc.</small> » par « <small> masculin </small> ») |
||
| Ligne 5 : | Ligne 5 : | ||
==Français== | ==Français== | ||
'''réseau de neurones à auto-attention''' <small> | '''réseau de neurones à auto-attention''' <small> masculin </small> | ||
==Anglais== | ==Anglais== | ||
Version du 22 mai 2020 à 22:02
Définition
Architecture de réseau de neurones profonds très performante en termes de calcul qui utilise le mécanisme d'attention, plus précisément l'auto-attention, pour remplacer à la fois la récurrence et les convolutions.
Note: soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale.
Français
réseau de neurones à auto-attention masculin
Anglais
Transformer
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, wiki
