Réseau neuronal d'espaces d'états structurés

Définition

Architecture de réseaux de neurone profonds qui emprunte à la fois aux réseaux récurrents, aux réseaux convolutifs et aux représentations d'espaces d'états structurés et qui sert à modéliser et traiter plus efficacement de longues séquences.

Compléments

Le concept de base est celui des modèles d'espaces d'états, en anglais SSM (State Space Model) étendus par l'ajout d'une structure (S4 Model: Structured State Space Sequence Model) à la modélisation de longues séquences. Encore là, le terme s'applique à la fois aux architectures, aux modèles, aux réseaux de neurones profonds et aux types d'apprentissage.

Il nous semble que le mot « séquence » s'applique à ce qui est modélisé et non pas à la nature de l'algorithme. Par contre, par abus de langage, on ajoute le mot « séquence » pour donner S4 (S4 Model: Structured State Space Sequence Model).

---

Les réseaux profonds d'espaces d'états structurés (R2ES) ont été conçus pour surmonter certaines problèmes des modèles autoattentifs (transformers), en particulier pour le traitement efficace de longues séquences.

Il existe un grand nombre de variantes d'architectures R2ES: Mamba, HiPPO, LSSL, SaShiMi, DSS, HTTYH, S4D, and S4ND.

Français

réseau d'espaces d'états structurés

R2ES

réseau à base de séquences d'espaces d'états structurés

réseau S2ES

modèle à base de séquences d'espaces d'états structurés

modèle S2ES

architecture à base de séquences d'espaces d'états structurés

architecture S2ES

apprentissage à base de séquences d'espaces d'états structurés

apprentissage S2ES

Anglais

structured state space sequence model

S4 model

S4 architecture

state space model

SSM

Sources

Structured state space sequence model - Wikipedia

Efficiently Modeling Long Sequences with Structured State Spaces - arxiv 2022

Mamba : redéfinir la modélisation des séquences et surpasser l'architecture des transformateurs, Unite.ai

Représentation d'état - Wikipedia