Réseau autoattentif

Domaine

Vocabulaire
Intelligence artificielle
Apprentissage profond

Définition

Architecture de réseau de neurones profond très performante en termes de calcul qui utilise le mécanisme d'attention, plus précisément l'auto-attention, pour remplacer à la fois la récurrence et les convolutions.

Note

Soulignons les travaux pionniers du laboratoire MILA dirigé par Yoshua Bengio à l'Université de Montréal qui ont défini un mécanisme d'attention utilisé en traduction automatique neuronale.

Français

réseau de neurones à auto-attention

Transformer

Source : Claude Coulombe

Anglais

Transformer