« Réseau neuronal d'espaces d'états structurés » : différence entre les versions
m (Claude COULOMBE a déplacé la page Réseau de séquences d'espaces d'états vers Réseau d'espaces d'états structurés) |
Aucun résumé des modifications |
||
| Ligne 5 : | Ligne 5 : | ||
== Compléments == | == Compléments == | ||
Le concept de base est celui des modèles d'espaces d'états, en anglais SSM (State Space Model) étendus par l'ajout d'une structure (S4 Model: Structured State Space Sequence Model) à la modélisation de longues séquences. Encore là, le terme s'applique à la fois aux architectures, aux modèles, aux réseaux de neurones profonds et aux types d'apprentissage. | |||
Il existe un grand nombre de variantes d'architectures | Il nous semble que le mot « séquence » s'applique à ce qui est modélisé et non pas à la nature de l'algorithme. Par contre, par abus de langage, on ajoute le mot « séquence » pour donner S4 (S4 Model: Structured State Space Sequence Model). | ||
<hr/> | |||
Les réseaux profonds d'espaces d'états structurés (R2ES) ont été conçus pour surmonter certaines problèmes des [[Réseau autoattentif|modèles autoattentifs]] (''transformers''), en particulier pour le traitement efficace de longues séquences. | |||
Il existe un grand nombre de variantes d'architectures R2ES: [[Mamba]], HiPPO, LSSL, SaShiMi, DSS, HTTYH, S4D, and S4ND. | |||
==Français== | ==Français== | ||
'''réseau | '''réseau d'espaces d'états structurés''' | ||
''R2ES'' | |||
'''réseau à base de séquences d'espaces d'états structurés''' | '''réseau à base de séquences d'espaces d'états structurés''' | ||
| Ligne 28 : | Ligne 35 : | ||
'''apprentissage S2ES''' | '''apprentissage S2ES''' | ||
==Anglais== | ==Anglais== | ||
Version du 23 avril 2024 à 15:27
Définition
Architecture de réseaux de neurone profonds qui emprunte à la fois aux réseaux récurrents, aux réseaux convolutifs et aux représentations d'espaces d'états structurés et qui sert à modéliser et traiter plus efficacement de longues séquences.
Compléments
Le concept de base est celui des modèles d'espaces d'états, en anglais SSM (State Space Model) étendus par l'ajout d'une structure (S4 Model: Structured State Space Sequence Model) à la modélisation de longues séquences. Encore là, le terme s'applique à la fois aux architectures, aux modèles, aux réseaux de neurones profonds et aux types d'apprentissage.
Il nous semble que le mot « séquence » s'applique à ce qui est modélisé et non pas à la nature de l'algorithme. Par contre, par abus de langage, on ajoute le mot « séquence » pour donner S4 (S4 Model: Structured State Space Sequence Model).
Les réseaux profonds d'espaces d'états structurés (R2ES) ont été conçus pour surmonter certaines problèmes des modèles autoattentifs (transformers), en particulier pour le traitement efficace de longues séquences.
Il existe un grand nombre de variantes d'architectures R2ES: Mamba, HiPPO, LSSL, SaShiMi, DSS, HTTYH, S4D, and S4ND.
Français
réseau d'espaces d'états structurés
R2ES
réseau à base de séquences d'espaces d'états structurés
réseau S2ES
modèle à base de séquences d'espaces d'états structurés
modèle S2ES
architecture à base de séquences d'espaces d'états structurés
architecture S2ES
apprentissage à base de séquences d'espaces d'états structurés
apprentissage S2ES
Anglais
structured state space sequence model
S4 model
S4 architecture
state space model
SSM
Sources
Structured state space sequence model - Wikipedia
Efficiently Modeling Long Sequences with Structured State Spaces - arxiv 2022
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
