« Réseau neuronal d'espaces d'états structurés » : différence entre les versions
m (Claude COULOMBE a déplacé la page Réseau d'espaces d'états structurés vers Réseau d'espaces d'états structurés pour séquences) |
Aucun résumé des modifications |
||
| Ligne 5 : | Ligne 5 : | ||
== Compléments == | == Compléments == | ||
Le concept de base est celui des modèles d'espaces d'états, en anglais SSM (State Space Model) étendus par l'ajout d'une structure (S4 Model: Structured State Space Sequence Model) | Le concept de base est celui des modèles d'espaces d'états, en anglais SSM (State Space Model) étendus par l'ajout d'une structure pour la modélisation de longues séquences (S4 Model: Structured State Space Sequence Model). | ||
Il nous semble que le mot « séquence » s'applique à ce qui est modélisé et non pas à la nature de l'algorithme | Il nous semble que le mot « séquence » s'applique à ce qui est modélisé et non pas à la nature de l'algorithme, mais par abus de langage, on ajoute le mot « séquence » pour donner S4 (S4 Model: Structured State Space Sequence Model). Ce qui donne en français, ''réseau d'espaces d'états structurés pour séquences'' ou R2E2S qui se prononce R-2E-2S. | ||
Ce terme s'applique à la fois aux architectures, aux modèles, aux réseaux de neurones profonds et parfois aux types d'apprentissage. | |||
<hr/> | <hr/> | ||
| Ligne 15 : | Ligne 17 : | ||
==Français== | ==Français== | ||
'''réseau d'espaces d'états structurés pour séquences''' | '''réseau d'espaces d'états structurés pour séquences''' | ||
| Ligne 24 : | Ligne 22 : | ||
'''réseau 2E2S''' | '''réseau 2E2S''' | ||
''' | '''R2E2S''' | ||
'''modèle | '''modèle d'espaces d'états structurés pour séquences''' | ||
''' | '''modèle 2E2S''' | ||
'''architecture | '''architecture d'espaces d'états structurés pour séquences''' | ||
''' | '''architecture 2E2S''' | ||
==Anglais== | ==Anglais== | ||
| Ligne 47 : | Ligne 43 : | ||
'''SSM''' | '''SSM''' | ||
'''state space model learning''' | |||
==Sources== | ==Sources== | ||
Version du 23 avril 2024 à 15:41
Définition
Architecture de réseaux de neurone profonds qui emprunte à la fois aux réseaux récurrents, aux réseaux convolutifs et aux représentations d'espaces d'états structurés et qui sert à modéliser et traiter plus efficacement de longues séquences.
Compléments
Le concept de base est celui des modèles d'espaces d'états, en anglais SSM (State Space Model) étendus par l'ajout d'une structure pour la modélisation de longues séquences (S4 Model: Structured State Space Sequence Model).
Il nous semble que le mot « séquence » s'applique à ce qui est modélisé et non pas à la nature de l'algorithme, mais par abus de langage, on ajoute le mot « séquence » pour donner S4 (S4 Model: Structured State Space Sequence Model). Ce qui donne en français, réseau d'espaces d'états structurés pour séquences ou R2E2S qui se prononce R-2E-2S.
Ce terme s'applique à la fois aux architectures, aux modèles, aux réseaux de neurones profonds et parfois aux types d'apprentissage.
Les réseaux profonds d'espaces d'états structurés (R2E2S) ont été conçus pour surmonter certaines problèmes des modèles autoattentifs (transformers), en particulier pour le traitement efficace de longues séquences.
Il existe un grand nombre de variantes d'architectures R2ES: Mamba, HiPPO, LSSL, SaShiMi, DSS, HTTYH, S4D, and S4ND.
Français
réseau d'espaces d'états structurés pour séquences
réseau 2E2S
R2E2S
modèle d'espaces d'états structurés pour séquences
modèle 2E2S
architecture d'espaces d'états structurés pour séquences
architecture 2E2S
Anglais
structured state space sequence model
S4 model
S4 architecture
state space model
SSM
state space model learning
Sources
Structured state space sequence model - Wikipedia
Efficiently Modeling Long Sequences with Structured State Spaces - arxiv 2022
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
