RetNet

Révision datée du 3 octobre 2023 à 13:20 par Patrickdrouin (discussion | contributions)

(diff) ← Version précédente | Voir la version actuelle (diff) | Version suivante → (diff)

Définition

Architecture de réseau neuronal profond principalement utilisé pour l'entraînement des grands modèles de langues qui combine les propriétés d'un réseau neuronal récurrent et un mécanisme d'auto-attention.

Français

architecture RetNet

Anglais

RetNet

Source : medium.com

Source: Sun et al. 2023

Récupérée de « https://datafranca.org/wiki/index.php?title=RetNet&oldid=80428 »

Publication

Contributeurs: Patrick Drouin, wiki