« RetNet » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 18 : | Ligne 18 : | ||
[https://arxiv.org/abs/2307.08621 Source: Sun et al. 2023] | [https://arxiv.org/abs/2307.08621 Source: Sun et al. 2023] | ||
[[Catégorie: | [[Catégorie:ENGLISH]] | ||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | |||
Version du 3 octobre 2023 à 19:58
Définition
Architecture de réseau neuronal profond principalement utilisé pour l'entraînement des grands modèles de langues qui combine les propriétés d'un réseau neuronal récurrent et un mécanisme d'auto-attention.
Complément
RetNet est mot valise qui signifie Retentive Network.
Français
architecture RetNet
Anglais
RetNet
Contributeurs: Patrick Drouin, wiki
