« Structured State Space Sequence » : différence entre les versions


(Page créée avec « ==en construction== == Définition == XXXXXXXXX >>>>>>> VOIR Réseau à base de séquences d'espaces d'états structurés == Français == ''' séquences d'espaces d'états structurés''' == Anglais == ''' Structured State Space Sequence ''' '''S4'''  S4s, also known as structured SSMs, can be functionally similar to recurrent neural networks (RNNs): They can accept one token at time and produce a linear combination of the current token and an embeddi... »)
 
Balise : Cible de la redirection modifiée
 
(Une version intermédiaire par le même utilisateur non affichée)
Ligne 1 : Ligne 1 :
==en construction==
#REDIRECTION [[Réseau neuronal d'espaces d'états structurés]]
 
== Définition ==
XXXXXXXXX
>>>>>>>  VOIR [[Réseau à base de séquences d'espaces d'états structurés]]
 
== Français ==
''' séquences d'espaces d'états structurés'''
 
== Anglais ==
''' Structured State Space Sequence '''
 
'''S4'''
 
 S4s, also known as structured SSMs, can be functionally similar to recurrent neural networks (RNNs): They can accept one token at time and produce a linear combination of the current token and an embedding that represents all previous tokens. Unlike RNNs and their extensions including LSTMs — but like transformers — they can also perform an equivalent computation in parallel during training. In addition, they are more computationally efficient than transformers. An S4’s computation and memory requirements rise linearly with input size, while a vanilla transformer’s rise quadratically — a heavy burden with long input sequences.
 
 
== Source ==
 
[https://arxiv.org/abs/2111.00396    Source : arxiv]
 
 
 
[[Catégorie:vocabulary]]

Dernière version du 30 avril 2024 à 15:41

Rediriger vers :

Récupérée de « https://datafranca.org/wiki/index.php?title=Structured_State_Space_Sequence&oldid=102829 »


Contributeurs: Claude Coulombe, wiki