RetNet

Définition

Architecture de réseau neuronal profond principalement utilisé pour l'entraînement des grands modèles de langues qui combine les propriétés d'un réseau neuronal récurrent et un mécanisme d'auto-attention.

Complément

RetNet est mot valise qui signifie Retentive Network.

Français

architecture RetNet

Anglais

RetNet

Sources

Source : medium.com

Source: Sun et al. 2023