« Réseau neuronal d'espaces d'états structurés » : différence entre les versions
m (Patrickdrouin a déplacé la page Structured state space sequence model vers Modèle à base de séquences d'espaces d'états structurés) |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
Classe | Classe de modèles de séquences pour l'apprentissage profond qui empruntent à la fois aux [[Réseau récurrent|réseaux récurrents]], aux [[Réseau convolutif|réseaux convolutifs]] et aux représentations d'espaces d'états. | ||
== Compléments == | == Compléments == | ||
| Ligne 28 : | Ligne 28 : | ||
[https://www.unite.ai/fr/mamba-red%C3%A9finit-la-mod%C3%A9lisation-de-s%C3%A9quence-et-surpasse-l%27architecture-des-transformateurs/ ''Mamba : redéfinir la modélisation des séquences et surpasser l'architecture des transformateurs'', Unite.ai] | [https://www.unite.ai/fr/mamba-red%C3%A9finit-la-mod%C3%A9lisation-de-s%C3%A9quence-et-surpasse-l%27architecture-des-transformateurs/ ''Mamba : redéfinir la modélisation des séquences et surpasser l'architecture des transformateurs'', Unite.ai] | ||
[https://fr.wikipedia.org/wiki/Repr%C3%A9sentation_d%27%C3%A9tat ''Représentation d'état'' - Wikipedia] | |||
[[Catégorie:Publication]] | [[Catégorie:Publication]] | ||
Version du 27 février 2024 à 16:50
Définition
Classe de modèles de séquences pour l'apprentissage profond qui empruntent à la fois aux réseaux récurrents, aux réseaux convolutifs et aux représentations d'espaces d'états.
Compléments
Mamba est exemple de modèle à base de séquences d'espaces d'états structurés développé par des chercheurs de l'Université Carnegie Mellon et de l'Université de Princeton pour répondre à certaines limitations des modèles autoattentifs (transformers), en particulier pour le traitement de longues séquences.
Français
modèle à base de séquences d'espaces d'états structurés
modèle S2ES
Anglais
structured state space sequence model
S4 model
S4 architecture
Sources
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
