« Réseau neuronal d'espaces d'états structurés » : différence entre les versions
(Page créée avec « ==Définition== == Compléments == Mamba est exemple de modèle à base de séquences d'espaces d'états structurés développé par des chercheurs de l'Université Carnegie Mellon et de l'Université de Princeton pour répondre à certaines limitations des modèles autoattentifs (''transformers''), en particulier pour le traitement de longues séquences. ==Français== '''modèle à base de séquences d'espaces d'états structurés''... ») |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
Classe récente de modèles de séquence pour l'apprentissage profond qui empruntent à la fois aux [[Réseau récurrent|réseaux récurrents]], aux [[Réseau convolutif|réseaux convolutifs]] et aux représentations d'espaces d'états. | |||
== Compléments == | == Compléments == | ||
| Ligne 9 : | Ligne 10 : | ||
'''modèle à base de séquences d'espaces d'états structurés''' | '''modèle à base de séquences d'espaces d'états structurés''' | ||
'''modèle S2ES''' | |||
==Anglais== | ==Anglais== | ||
Version du 27 février 2024 à 15:43
Définition
Classe récente de modèles de séquence pour l'apprentissage profond qui empruntent à la fois aux réseaux récurrents, aux réseaux convolutifs et aux représentations d'espaces d'états.
Compléments
Mamba est exemple de modèle à base de séquences d'espaces d'états structurés développé par des chercheurs de l'Université Carnegie Mellon et de l'Université de Princeton pour répondre à certaines limitations des modèles autoattentifs (transformers), en particulier pour le traitement de longues séquences.
Français
modèle à base de séquences d'espaces d'états structurés
modèle S2ES
Anglais
structured state space sequence model
S4 model
S4 architecture
Sources
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
