Encodage positionnel
Définition
Méthode des réseaux autoattentifs qui aide à préserver l’ordre séquentiel des jetons génératifs (tokens) en ajoutant des informations sur la position de chaque jeton dans la séquence, ce qui leur permet d’avoir une meilleure compréhension contextuelle et d’éviter les problèmes de symétrie.
Français
encodage positionnel
Anglais
positional encoding
PE
Sources
Contributeurs: Arianne Arel, Claude Coulombe, Patrick Drouin, wiki
