Modèle encodeur-décodeur

Définition

Un modèle (ou architecture) encodeur-décodeur sert à implémenter une transformation séquence-à-séquence en utilisant deux réseaux de neurones récurrents, un premier réseau est un encodeur et le second est un décodeur. Dans ces modèles, l'entrée et la sortie ne sont pas nécessairement de la même longueur.

Typiquement, on a un texte (ou une séquence de mots ou parties de mots en entrée) qui produit un autre texte (ou séquence de mots ou parties de mots) en sortie.

Compléments

Une point clé du modèle encodeur-décodeur est sa capacité de traiter des entrées et des sorties de longueurs variables.

---

Un bon exemple d'utilisation d'un modèle encodeur-décodeur est la traduction neuronale d'une phrase d'une langue d'origine vers une langue d'arrivée. Un mécanisme d'attention peut être ajouté pour améliorer les performances.

---

Des travaux pionniers sur l'architecture encodeur-décodeur ont été réalisés au laboratoire MILA de l'Université de Montréal sous la direction de Yoshua Bengio.

Français

modèle encodeur-décodeur

modèle encodeur décodeur

réseau récurrent encodeur-décodeur

réseau récurrent encodeur décodeur

réseau de neurones récurrent encodeur-décodeur

réseau neuronal récurrent encodeur-décodeur

réseau encodeur-décodeur

réseau encodeur décodeur

architecture encodeur-décodeur

architecture encodeur décodeur

architecture de réseau de neurones récurrent encodeur-décodeur

architecture de réseau récurrent encodeur-décodeur

architecture RNR encodeur-décodeur

encodeur-décodeur

Anglais

encoder-decoder model

encoder decoder model

encoder-decoder architecture

encoder decoder architecture

RNN encoder decoder

RNN encoder-decoder

encoder decoder RNN

encoder-decoder RNN

recurrent encoder-decoder

recurrent encoder decoder

encoder-decoder

encoder decoder

Sources

Source: arxiv - Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation - MILA UdeM - juin 2014

Source: Thèse de Iulian Vlad Serban - MILA UdeM