RetNet


Révision datée du 28 janvier 2024 à 13:22 par Pitpitt (discussion | contributions) (Remplacement de texte : « ↵<small> » par «  ==Sources== »)
(diff) ← Version précédente | Voir la version actuelle (diff) | Version suivante → (diff)

Définition

Architecture de réseau neuronal profond principalement utilisé pour l'entraînement des grands modèles de langues qui combine les propriétés d'un réseau neuronal récurrent et un mécanisme d'auto-attention.

Complément

RetNet est mot valise qui signifie Retentive Network.

Français

architecture RetNet

Anglais

RetNet

Sources

Source : medium.com

Source: Sun et al. 2023

Récupérée de « https://datafranca.org/wiki/index.php?title=RetNet&oldid=92098 »


Contributeurs: Patrick Drouin, wiki