« Réseau autoattentif » : différence entre les versions
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
||
| Ligne 4 : | Ligne 4 : | ||
[[Category:Termino 2019]] | [[Category:Termino 2019]] | ||
[[Category:Scotty]] | [[Category:Scotty]] | ||
[[Category:9]] | |||
== Définition == | == Définition == | ||
Architecture de réseau de neurones | Architecture de réseau de neurones profonds très performante en termes de calcul qui utilise le mécanisme d'attention, plus précisément l'auto-attention, pour remplacer à la fois la récurrence et les convolutions. | ||
Note: | Note: soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale. | ||
== Français == | == Français == | ||
'''réseau de neurones à auto-attention''' | '''réseau de neurones à auto-attention''' n.m. | ||
'''Transformer''' | '''Transformer''' | ||
Version du 4 juillet 2019 à 00:25
Définition
Architecture de réseau de neurones profonds très performante en termes de calcul qui utilise le mécanisme d'attention, plus précisément l'auto-attention, pour remplacer à la fois la récurrence et les convolutions.
Note: soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale.
Français
réseau de neurones à auto-attention n.m.
Transformer
Anglais
Transformer
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, wiki
