« Pondération attentionnelle » : différence entre les versions

Version du 17 septembre 2024 à 14:14

Définition

Mécanisme d'attention qui attribue un poids aux différents éléments qui constitue une séquence en fonction de leur importance.

Compléments

Par exemple, en traitement automatique de la langue, le mécanisme d'attention attribuera des poids différents aux mots en fonction des liens entre les mots et de leur différent rôle linguistique.

Nous proposons d'adopter le terme pondération attentionnelle qui est déjà en utilisation dans le domaine de la psychologie pour désigner un concept similaire.

Français

pondération attentionnelle

pondération de l'attention

Anglais

Attention-Weighting

Attention Weights

Source

Source : Goldstone, R. L. (1998). Perceptual Learning. Annual Review of Psychology

Source : arxiv

Source: wiki

@@ Ligne 17 : / Ligne 17 : @@
 '''Attention Weights'''
-<!-- Attention-weighting is a technique by which the model learns which part of the incoming sequence needs to be focused on. Think of it as the ‘Eye of Sauron’ scanning everything at all times and throwing light on the parts that are relevant.
-In natural language processing, this usually means assigning different levels of importance to different words in a sentence. It assigns importance to each word by calculating "soft" weights for the word's numerical representation, known as its embedding, within a specific section of the sentence called the context window to determine its importance. The calculation of these weights can occur simultaneously in models called transformers, or one by one in models known as recurrent neural networks. Unlike "hard" weights, which are predetermined and fixed during training, "soft" weights can -->
 == Source ==

« Pondération attentionnelle » : différence entre les versions