« Réseau autoattentif » : différence entre les versions
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
Aucun résumé des modifications |
||
| Ligne 5 : | Ligne 5 : | ||
[[Category:GRAND LEXIQUE FRANÇAIS]] | [[Category:GRAND LEXIQUE FRANÇAIS]] | ||
== Définition == | ==Définition== | ||
Architecture de réseau de neurones profonds très performante en termes de calcul qui utilise le mécanisme d'attention, plus précisément l'auto-attention, pour remplacer à la fois la récurrence et les convolutions. | Architecture de réseau de neurones profonds très performante en termes de calcul qui utilise le mécanisme d'attention, plus précisément l'auto-attention, pour remplacer à la fois la récurrence et les convolutions. | ||
Note: soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale. | Note: soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale. | ||
== Français == | ==Français== | ||
'''réseau de neurones à auto-attention''' | '''réseau de neurones à auto-attention''' loc. nom. masc. | ||
==Anglais== | |||
== Anglais == | |||
'''Transformer''' | '''Transformer''' | ||
Version du 7 juillet 2019 à 17:00
Définition
Architecture de réseau de neurones profonds très performante en termes de calcul qui utilise le mécanisme d'attention, plus précisément l'auto-attention, pour remplacer à la fois la récurrence et les convolutions.
Note: soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale.
Français
réseau de neurones à auto-attention loc. nom. masc.
Anglais
Transformer
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, wiki
