« Réseau neuronal d'espaces d'états structurés » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| (11 versions intermédiaires par 2 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
Architecture de [[réseau de neurones profond|réseaux de neurone profonds]] qui emprunte à la fois aux [[Réseau récurrent|réseaux récurrents]], aux [[Réseau convolutif|réseaux convolutifs]] et aux représentations d'espaces d'états | Architecture de [[réseau de neurones profond|réseaux de neurone profonds]] qui emprunte à la fois aux [[Réseau récurrent|réseaux récurrents]], aux [[Réseau convolutif|réseaux convolutifs]] et aux représentations d'espaces d'états qui sert à modéliser et traiter plus efficacement de [[Modèle séquence à séquence|longues séquences]]. | ||
== Compléments == | == Compléments == | ||
Le concept de base est celui des modèles d'espaces d'états, en anglais SSM (State Space Model) étendus par l'ajout d'une structure | Le concept de base est celui des modèles d'espaces d'états, en anglais SSM (State Space Model) étendus par l'ajout d'une structure pour la modélisation de longues séquences. | ||
Pour le distinguer d'un réseau classique d'espaces d'états, nous suggérons d'ajouter l'adjectif « neuronal », ce qui donne ''réseau neuronal d'espaces d'états structuré'' ou ''réseau N2ES''. | |||
Aussi, il nous semble que le mot « séquence » s'applique à ce qui est modélisé et non pas à la nature de l'algorithme, mais par abus de langage, on ajoute le mot « séquence » pour obtenir en anglais S4 (S4 Model: Structured State Space Sequence Model). Ce qui donne en français, ''réseau neuronal d'espaces d'états structurés pour séquences'' ou réseau N2E2S qui se prononce réseau N-2E-2S. | |||
Ce terme s'applique à la fois aux architectures, aux modèles, aux réseaux de neurones profonds et parfois au type d'apprentissage. | |||
<hr/> | <hr/> | ||
Les réseaux | Les réseaux neuronaux d'espaces d'états structurés (réseau N2ES) ont été conçus pour surmonter certains problèmes des [[Réseau autoattentif|modèles autoattentifs]] (''transformers''), en particulier pour le traitement efficace de longues séquences. | ||
Il existe un grand nombre de variantes d'architectures | Il existe un grand nombre de variantes d'architectures RN2E2S: [[Mamba]], HiPPO, LSSL, SaShiMi, DSS, HTTYH, S4D, and S4ND. | ||
==Français== | ==Français== | ||
'''réseau d'espaces d'états structurés' | '''réseau neuronal d'espaces d'états structurés''' | ||
'''réseau | '''réseau N2ES''' | ||
'''réseau | '''réseau neuronal d'espaces d'états structurés pour séquences''' | ||
''' | '''réseau N2E2S''' | ||
''' | '''réseau d'espaces d'états structurés''' | ||
''' | '''modèle neuronal d'espaces d'états structurés''' | ||
''' | '''modèle N2ES''' | ||
''' | '''architecture neuronale d'espaces d'états structurés''' | ||
''' | '''architecture N2ES''' | ||
==Anglais== | ==Anglais== | ||
| Ligne 47 : | Ligne 49 : | ||
'''SSM''' | '''SSM''' | ||
'''state space model learning''' | |||
==Sources== | ==Sources== | ||
Dernière version du 4 juin 2024 à 23:33
Définition
Architecture de réseaux de neurone profonds qui emprunte à la fois aux réseaux récurrents, aux réseaux convolutifs et aux représentations d'espaces d'états qui sert à modéliser et traiter plus efficacement de longues séquences.
Compléments
Le concept de base est celui des modèles d'espaces d'états, en anglais SSM (State Space Model) étendus par l'ajout d'une structure pour la modélisation de longues séquences.
Pour le distinguer d'un réseau classique d'espaces d'états, nous suggérons d'ajouter l'adjectif « neuronal », ce qui donne réseau neuronal d'espaces d'états structuré ou réseau N2ES.
Aussi, il nous semble que le mot « séquence » s'applique à ce qui est modélisé et non pas à la nature de l'algorithme, mais par abus de langage, on ajoute le mot « séquence » pour obtenir en anglais S4 (S4 Model: Structured State Space Sequence Model). Ce qui donne en français, réseau neuronal d'espaces d'états structurés pour séquences ou réseau N2E2S qui se prononce réseau N-2E-2S.
Ce terme s'applique à la fois aux architectures, aux modèles, aux réseaux de neurones profonds et parfois au type d'apprentissage.
Les réseaux neuronaux d'espaces d'états structurés (réseau N2ES) ont été conçus pour surmonter certains problèmes des modèles autoattentifs (transformers), en particulier pour le traitement efficace de longues séquences.
Il existe un grand nombre de variantes d'architectures RN2E2S: Mamba, HiPPO, LSSL, SaShiMi, DSS, HTTYH, S4D, and S4ND.
Français
réseau neuronal d'espaces d'états structurés
réseau N2ES
réseau neuronal d'espaces d'états structurés pour séquences
réseau N2E2S
réseau d'espaces d'états structurés
modèle neuronal d'espaces d'états structurés
modèle N2ES
architecture neuronale d'espaces d'états structurés
architecture N2ES
Anglais
structured state space sequence model
S4 model
S4 architecture
state space model
SSM
state space model learning
Sources
Structured state space sequence model - Wikipedia
Efficiently Modeling Long Sequences with Structured State Spaces - arxiv 2022
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
