« Réseau autoattentif » : différence entre les versions
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
||
| Ligne 11 : | Ligne 11 : | ||
==Français== | ==Français== | ||
'''réseau de neurones à auto-attention''' loc. nom. masc. | '''réseau de neurones à auto-attention''' <small>loc. nom. masc.</small> | ||
==Anglais== | ==Anglais== | ||
| Ligne 20 : | Ligne 20 : | ||
[[Utilisateur:Claude COULOMBE | Source: Claude Coulombe, Datafranca.org]] | [[Utilisateur:Claude COULOMBE | Source: Claude Coulombe, Datafranca.org]] | ||
[[Utilisateur:Patrickdrouin | Source: Termino]] | |||
Version du 10 juillet 2019 à 00:09
Définition
Architecture de réseau de neurones profonds très performante en termes de calcul qui utilise le mécanisme d'attention, plus précisément l'auto-attention, pour remplacer à la fois la récurrence et les convolutions.
Note: soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale.
Français
réseau de neurones à auto-attention loc. nom. masc.
Anglais
Transformer
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, wiki
