« RetNet » : différence entre les versions

Version du 3 octobre 2023 à 13:20

Architecture de réseau neuronal profond principalement utilisé pour l'entraînement des grands modèles de langues qui combine les propriétés d'un réseau neuronal récurrent et un mécanisme d'auto-attention.

architecture RetNet

RetNet

Source : medium.com

@@ Ligne 1 : / Ligne 1 : @@
 == Définition ==
-Architecture de réseau neuronal profond combinant les propriétés d'un [[réseau neuronal récurrent]] et un [[R%C3%A9seau_autoattentif|mécanisme d'auto-attention]].
+Architecture de réseau neuronal profond principalement utilisé pour l'entraînement des [[grand modèle de langues|grands modèles de langues]] qui combine les propriétés d'un [[réseau neuronal récurrent]] et un [[R%C3%A9seau_autoattentif|mécanisme d'auto-attention]].
 == Français ==