« Réseau neuronal d'espaces d'états structurés » : différence entre les versions

Version du 23 avril 2024 à 14:08

Définition

Architecture de réseaux de neurone profonds qui emprunte à la fois aux réseaux récurrents, aux réseaux convolutifs et aux représentations d'espaces d'états structurés et qui sert à modéliser et traiter plus efficacement de longues séquences.

Compléments

Les réseaux profonds de séquences d'espaces d'états (S2ES) ont été conçus pour surmonter certaines problèmes des modèles autoattentifs (transformers), en particulier pour le traitement efficace de longues séquences.

Il existe un grand nombre de variantes d'architectures S2ES: Mamba, HiPPO, LSSL, SaShiMi, DSS, HTTYH, S4D, and S4ND.

Français

réseau de séquences d'espaces d'états

réseau à base de séquences d'espaces d'états structurés

réseau S2ES

modèle à base de séquences d'espaces d'états structurés

modèle S2ES

architecture à base de séquences d'espaces d'états structurés

architecture S2ES

apprentissage à base de séquences d'espaces d'états structurés

apprentissage S2ES

Anglais

structured state space sequence model

S4 model

S4 architecture

state space model

SSM

Sources

Structured state space sequence model - Wikipedia

Efficiently Modeling Long Sequences with Structured State Spaces - arxiv 2022

Mamba : redéfinir la modélisation des séquences et surpasser l'architecture des transformateurs, Unite.ai

Représentation d'état - Wikipedia

@@ Ligne 1 : / Ligne 1 : @@
 ==Définition==
-Classe de [[réseau de neurones profond|réseaux de neurone profonds]] qui empruntent à la fois aux [[Réseau récurrent|réseaux récurrents]], aux [[Réseau convolutif|réseaux convolutifs]] et aux représentations d'espaces d'états et qui sert à traiter plus efficacement de [[Modèle séquence à séquence|longues séquences]].
+Architecture de [[réseau de neurones profond|réseaux de neurone profonds]] qui emprunte à la fois aux [[Réseau récurrent|réseaux récurrents]], aux [[Réseau convolutif|réseaux convolutifs]] et aux représentations d'espaces d'états structurés et qui sert à modéliser et traiter plus efficacement de [[Modèle séquence à séquence|longues séquences]].
 == Compléments ==
-Mamba est exemple de réseau à base de séquences d'espaces d'états structurés développé par des chercheurs de l'Université Carnegie Mellon et de l'Université de Princeton pour répondre à certaines limitations des [[Réseau autoattentif|modèles autoattentifs]] (''transformers''), en particulier pour le traitement de longues séquences.
+Les réseaux profonds de séquences d'espaces d'états (S2ES) ont été conçus pour surmonter certaines problèmes des [[Réseau autoattentif|modèles autoattentifs]] (''transformers''), en particulier pour le traitement efficace de longues séquences.
+Il existe un grand nombre de variantes d'architectures S2ES: [[Mamba]], HiPPO, LSSL, SaShiMi, DSS, HTTYH, S4D, and S4ND.
 ==Français==
+'''réseau de séquences d'espaces d'états'''
 '''réseau à base de séquences d'espaces d'états structurés'''
@@ Ligne 35 : / Ligne 39 : @@
 '''state space model'''
+'''SSM'''
 ==Sources==
 [https://en.wikipedia.org/wiki/Mamba_(deep_learning_architecture)  ''Structured state space sequence model'' - Wikipedia]
+[https://arxiv.org/pdf/2111.00396.pdf  ''Efficiently Modeling Long Sequences with Structured State Spaces'' - arxiv 2022]
 [https://www.unite.ai/fr/mamba-red%C3%A9finit-la-mod%C3%A9lisation-de-s%C3%A9quence-et-surpasse-l%27architecture-des-transformateurs/  ''Mamba : redéfinir la modélisation des séquences et surpasser l'architecture des transformateurs'', Unite.ai]

« Réseau neuronal d'espaces d'états structurés » : différence entre les versions