« Réseau autoattentif » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 20 : | Ligne 20 : | ||
[[Utilisateur:Patrickdrouin | Source: Termino]] | [[Utilisateur:Patrickdrouin | Source: Termino]] | ||
</small><br> <div style="border:2px solid #336699; background: #f6f6f6; padding: 1em; margin-bottom:1em; width: 90%;"><html><a href="https://datafranca.org/wiki/Cat%C3%A9gorie:101"><img src="https://datafranca.org/images/icone-101-mots.png" width="250"></a></html> | |||
<br></div><br><br> | |||
[[Category:Intelligence artificielle]] | [[Category:Intelligence artificielle]] | ||
Version du 27 juillet 2022 à 12:53
Définition
Architecture de réseau de neurones profonds très performante en termes de calcul qui utilise le mécanisme d'attention, plus précisément l'auto-attention, pour remplacer à la fois la récurrence et les convolutions.
Note: soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale.
Français
réseau de neurones à auto-attention
réseau à auto-attention
Réseau auto-attentif
Anglais
Transformer
Source: Claude Coulombe, Datafranca.org
Contributeurs: Claude Coulombe, Jacques Barolet, Patrick Drouin, wiki
