« RetNet » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
Architecture de réseau neuronal profond principalement utilisé pour l'entraînement des [[grand modèle de langues|grands modèles de langues]] qui combine les propriétés d'un [[réseau neuronal récurrent]] et un [[R%C3%A9seau_autoattentif|mécanisme d'auto-attention]]. | Architecture de réseau neuronal profond principalement utilisé pour l'entraînement des [[grand modèle de langues|grands modèles de langues]] qui combine les propriétés d'un [[réseau neuronal récurrent]] et un [[R%C3%A9seau_autoattentif|mécanisme d'auto-attention]]. | ||
== Complément == | |||
RetNet est mot valise qui signifie '''''Ret'''entive '''Net'''work''. | |||
== Français == | == Français == | ||
Version du 3 octobre 2023 à 14:23
Définition
Architecture de réseau neuronal profond principalement utilisé pour l'entraînement des grands modèles de langues qui combine les propriétés d'un réseau neuronal récurrent et un mécanisme d'auto-attention.
Complément
RetNet est mot valise qui signifie Retentive Network.
Français
architecture RetNet
Anglais
RetNet
Contributeurs: Patrick Drouin, wiki
