« Réseau autoattentif » : différence entre les versions
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
||
| Ligne 1 : | Ligne 1 : | ||
[[Category:Vocabulaire]] | |||
[[Category:Intelligence artificielle]] | |||
[[Category:Vocabulaire]] | [[Category:Apprentissage profond]] | ||
[[Category:Intelligence artificielle]] | |||
[[Category:Apprentissage profond]] | |||
[[Category:Termino 2019]] | [[Category:Termino 2019]] | ||
[[Category:Scotty]] | [[Category:Scotty]] | ||
| Ligne 10 : | Ligne 8 : | ||
Architecture de réseau de neurones profond très performante en termes de calcul qui utilise le mécanisme d'attention, plus précisément l'auto-attention, pour remplacer à la fois la récurrence et les convolutions. | Architecture de réseau de neurones profond très performante en termes de calcul qui utilise le mécanisme d'attention, plus précisément l'auto-attention, pour remplacer à la fois la récurrence et les convolutions. | ||
Note: Soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale. | |||
Note | |||
Soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale. | |||
== Français == | == Français == | ||
'''réseau de neurones à auto-attention''' | '''réseau de neurones à auto-attention''' | ||
'''Transformer''' | '''Transformer''' | ||
== Anglais == | == Anglais == | ||
'''Transformer''' | '''Transformer''' | ||
[[Utilisateur:Claude COULOMBE | source : Claude Coulombe, Datafranca.org]] | |||
Version du 17 juin 2019 à 21:18
Définition
Architecture de réseau de neurones profond très performante en termes de calcul qui utilise le mécanisme d'attention, plus précisément l'auto-attention, pour remplacer à la fois la récurrence et les convolutions.
Note: Soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale.
Français
réseau de neurones à auto-attention
Transformer
Anglais
Transformer
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, wiki
