« Réseau neuronal d'espaces d'états structurés » : différence entre les versions

Version du 27 avril 2024 à 00:26

Définition

Architecture de réseaux de neurone profonds qui emprunte à la fois aux réseaux récurrents, aux réseaux convolutifs et aux représentations d'espaces d'états structurés qui sert à modéliser et traiter plus efficacement de longues séquences.

Compléments

Le concept de base est celui des modèles d'espaces d'états, en anglais SSM (State Space Model) étendus par l'ajout d'une structure pour la modélisation de longues séquences (S4 Model: Structured State Space Sequence Model).

Pour le distinguer d'un réseau d'espaces d'états classique, nous suggérons d'ajouter l'adjectif « neuronal », ce qui donne réseau neuronal d'espaces d'états structurés ou réseau N2ES.

Aussi, il nous semble que le mot « séquence » s'applique à ce qui est modélisé et non pas à la nature de l'algorithme, mais par abus de langage, on ajoute le mot « séquence » pour obtenir en anglais S4 (S4 Model: Structured State Space Sequence Model). Ce qui donne en français, réseau neuronal d'espaces d'états structurés pour séquences ou réseau N2E2S qui se prononce réseau N-2E-2S.

Ce terme s'applique à la fois aux architectures, aux modèles, aux réseaux de neurones profonds et parfois au type d'apprentissage.

Les réseaux neuronaux d'espaces d'états structurés (réseau N2ES) ont été conçus pour surmonter certains problèmes des modèles autoattentifs (transformers), en particulier pour le traitement efficace de longues séquences.

Il existe un grand nombre de variantes d'architectures RN2E2S: Mamba, HiPPO, LSSL, SaShiMi, DSS, HTTYH, S4D, and S4ND.

Français

réseau neuronal d'espaces d'états structurés

réseau N2ES

réseau neuronal d'espaces d'états structurés pour séquences

réseau N2E2S

modèle neuronal d'espaces d'états structurés

modèle N2ES

architecture neuronale d'espaces d'états structurés

architecture N2ES

Anglais

structured state space sequence model

S4 model

S4 architecture

state space model

SSM

state space model learning

Sources

Structured state space sequence model - Wikipedia

Efficiently Modeling Long Sequences with Structured State Spaces - arxiv 2022

Mamba : redéfinir la modélisation des séquences et surpasser l'architecture des transformateurs, Unite.ai

Représentation d'état - Wikipedia

@@ Ligne 7 : / Ligne 7 : @@
 Le concept de base est celui des modèles d'espaces d'états, en anglais SSM (State Space Model) étendus par l'ajout d'une structure pour la modélisation de longues séquences (S4 Model: Structured State Space Sequence Model).
-Il nous semble que le mot « séquence » s'applique à ce qui est modélisé et non pas à la nature de l'algorithme, mais par abus de langage, on ajoute le mot « séquence » pour obtenir en anglais S4 (S4 Model: Structured State Space Sequence Model). Ce qui donne en français, ''réseau d'espaces d'états structurés pour séquences'' ou R2E2S qui se prononce R-2E-2S.
+Pour le distinguer d'un réseau d'espaces d'états classique, nous suggérons d'ajouter l'adjectif « neuronal », ce qui donne ''réseau neuronal d'espaces d'états structurés'' ou ''réseau N2ES''.
-Ce terme s'applique à la fois aux architectures, aux modèles, aux réseaux de neurones profonds et parfois aux types d'apprentissage.
+Aussi, il nous semble que le mot « séquence » s'applique à ce qui est modélisé et non pas à la nature de l'algorithme, mais par abus de langage, on ajoute le mot « séquence » pour obtenir en anglais S4 (S4 Model: Structured State Space Sequence Model). Ce qui donne en français, ''réseau neuronal d'espaces d'états structurés pour séquences'' ou réseau N2E2S qui se prononce réseau N-2E-2S.
+Ce terme s'applique à la fois aux architectures, aux modèles, aux réseaux de neurones profonds et parfois au type d'apprentissage.
 <hr/>
-Les réseaux profonds d'espaces d'états structurés  (R2E2S) ont été conçus pour surmonter certaines problèmes des [[Réseau autoattentif|modèles autoattentifs]] (''transformers''), en particulier pour le traitement efficace de longues séquences.
+Les réseaux neuronaux d'espaces d'états structurés (réseau N2ES) ont été conçus pour surmonter certains problèmes des [[Réseau autoattentif|modèles autoattentifs]] (''transformers''), en particulier pour le traitement efficace de longues séquences.
-Il existe un grand nombre de variantes d'architectures R2ES: [[Mamba]], HiPPO, LSSL, SaShiMi, DSS, HTTYH, S4D, and S4ND.
+Il existe un grand nombre de variantes d'architectures RN2E2S: [[Mamba]], HiPPO, LSSL, SaShiMi, DSS, HTTYH, S4D, and S4ND.
 ==Français==
-'''réseau d'espaces d'états structurés pour séquences'''
+'''réseau neuronal d'espaces d'états structurés'''
+'''réseau N2ES'''
-'''réseau 2E2S'''
+'''réseau neuronal d'espaces d'états structurés pour séquences'''
-'''R2E2S'''
+'''réseau N2E2S'''
-'''modèle d'espaces d'états structurés pour séquences'''
+'''modèle neuronal d'espaces d'états structurés'''
-'''modèle 2E2S'''
+'''modèle N2ES'''
-'''architecture d'espaces d'états structurés pour séquences'''
+'''architecture neuronale d'espaces d'états structurés'''
-'''architecture 2E2S'''
+'''architecture N2ES'''
 ==Anglais==

« Réseau neuronal d'espaces d'états structurés » : différence entre les versions